Tensor G3 im Pixel 8 Pro lagert generative KI-Aufgaben in die Cloud aus

 (notebookcheck.net)
1 Punkte von GN⁺ 2023-10-23 | 1 Kommentare | Auf WhatsApp teilen
  • Die neuen generativen KI-Funktionen des Pixel 8 Pro werden nicht direkt auf dem Tensor G3 verarbeitet, sondern über Google-Server abgewickelt. Damit wird die Lücke zwischen Googles KI-zentriertem Chip-Marketing und der tatsächlichen Nutzungserfahrung sichtbar.
  • AI Wallpaper und Magic Editor benötigen eine dauerhafte Internetverbindung; der zentrale Streitpunkt ist, dass die vom Nutzer angeforderten Aufgaben nicht auf dem Gerät, sondern in der Cloud verarbeitet werden.
  • Google stellte den Tensor G3 als „AI-first“-Chip vor und betonte On-Device-Machine-Learning sowie die Grundlage für generative KI, doch einige der wichtigsten Funktionen liegen weit von lokaler Ausführung entfernt.
  • Notebookcheck ergänzte ein kurzes Bestätigungsvideo, das zeigt, dass Magic Editor und AI Wallpaper für die Cloud-basierte Verarbeitung eine permanente Internetverbindung verlangen.
  • Laut Geekbench 6 liegt der Tensor G3 trotz aktueller CPU-Architektur eher beim Snapdragon 7+ Gen 2 als beim Snapdragon 8 Gen 2, wodurch neben der KI-Werbung auch die Debatte um die Chip-Leistung an Schärfe gewinnt.

Kritik am Launch des Pixel 8 Pro und am Tensor G3

  • Das Pixel 8 Pro gilt innerhalb von Googles Flaggschiff-Reihe als ein Fall eines ungewöhnlich holprigen Launches.
  • Arun Maini, bekannt als @Mrwhosetheboss, verlieh dem Pixel 7 Pro im Vorjahr den Titel „Best Smartphone of 2022“, äußerte sich zum Pixel 8 Pro jedoch nicht mit vergleichbarer Begeisterung.
  • Es gibt auch Aspekte, die bei der Pixel-8-Serie positiv bewertet wurden.
    • Design
    • Frosted-Glass-Finish auf der Rückseite des Pixel 8 Pro
    • Hochwertige Software
    • Fotoqualität bei Standbildern
    • KI-basierte Funktionen wie Best Photo, Magic Editor und Audio Magic Eraser
  • Als Schwächen wurden die ungeschmeidige Zoom-Verarbeitung beim Wechsel zwischen den Objektiven und die künstlich wirkende Videostabilisierung genannt.
  • Die größte Kritik richtet sich auf den Tensor G3-Prozessor der Pixel-8-Serie.

Server-Abhängigkeit der generativen KI-Funktionen

  • Maini ist der Ansicht, dass neue generative KI-Funktionen wie AI Wallpaper und Magic Editor mehr Rechenleistung erfordern, als der Tensor-G3-SoC bereitstellen kann.
  • Diese Funktionen benötigen eine dauerhafte Internetverbindung.
    • Sämtliche Nutzeranfragen müssen über Google-Server laufen.
    • Er bewertet sie als spürbar langsam, weil sie nicht direkt auf dem Gerät ausgeführt werden.
  • Der Kern von Mainis Aussage lässt sich so zusammenfassen:
    • Funktionen, die mit generativer KI etwas erstellen, erfordern eine permanente Internetverbindung.
    • Die Verarbeitung erfolgt über Google-Server.
    • Das mache deutlich, dass der Tensor G3 nicht auf Flaggschiff-Niveau liege.

Konflikt mit Googles Marketing für den Tensor G3

  • Google vermarktet den Tensor G3 als „AI-first“ und hebt seine KI-Verarbeitungsfähigkeiten hervor.
  • In einem offiziellen Google-Blogbeitrag erklärte Monika Gupta, VP of Product Management bei Google, unter anderem:
    • Viele der jüngsten KI-Innovationen beruhen auf Rechenleistung auf Datacenter-Niveau.
    • Damit die transformative Kraft von KI im Alltag nutzbar wird, muss sie auf den Geräten verfügbar sein, die Menschen täglich verwenden.
    • Der Tensor G3 ist Googles neuester kundenspezifischer Siliziumchip.
  • Google erklärt außerdem, dass der Tensor G3 die Grenzen des On-Device-Machine-Learning erweitere.
    • Er bringe die neuesten Ergebnisse aus Googles KI-Forschung direkt auf Pixel 8 und Pixel 8 Pro.
    • Ziel von Tensor sei es nicht, Geschwindigkeit oder traditionelle Leistungskennzahlen in den Vordergrund zu stellen, sondern das mobile Computing-Erlebnis voranzubringen.
    • Wichtige Subsysteme seien aufgerüstet worden, und es sei eine Grundlage für generative KI auf dem Gerät geschaffen worden.
    • Dazu gehörten aktuelle Arm-CPUs, eine aufgerüstete GPU, ein neuer ISP und Imaging-DSP sowie eine TPU der nächsten Generation, die für die Ausführung von Google-KI-Modellen entwickelt wurde.

Die Debatte um On-Device-KI aus Sicht von Arm

  • Die Art, wie das Pixel 8 Pro generative KI-Aufgaben verarbeitet, kollidiert mit Googles Botschaft zur On-Device-KI.
  • Google misst klassischen Leistungskennzahlen weniger Bedeutung bei, Arm betont hingegen die Rolle von CPU und GPU bei KI-Aufgaben.
  • Arm erklärt, dass mit der Verlagerung der KI-Verarbeitung aus der Cloud an den Ort der Datenerfassung Arm-CPU- und MCU-Technologien an Edge- und Endpoint-Geräten den Großteil der KI- und ML-Workloads verarbeiten.
  • Laut Arm steht die CPU im Zentrum jedes KI-Systems, unabhängig davon, ob sie KI allein verarbeitet oder gemeinsam mit Hilfsprozessoren wie GPU oder NPU bestimmte Aufgaben übernimmt.
  • In diesem Kontext zeigt sich eine Differenz zwischen Googles Darstellung, die die Verarbeitung von KI-Aufgaben vor allem über die TPU nahelegt, und der Erklärung von Arm.

Benchmark-Sperre und Ergebnisse in Geekbench 6

  • Während des Review-Embargos war es schwierig, populäre Benchmark-Apps über den Play Store zu installieren.
  • Diese Einschränkung blieb auch nach dem Launch bestehen, doch nach dem Notebookcheck-Artikel hob Google die Sperre auf.
  • Im plattformübergreifenden Benchmark Geekbench 6 von Primate Labs erzielte der Tensor G3 trotz aktueller CPU-Architektur niedrigere CPU-Werte als erwartet.
  • Die Leistung des Tensor G3 liegt näher am Mittelklasse-Chip Snapdragon 7+ Gen 2 als am aktuellen Flaggschiff-Chip Snapdragon 8 Gen 2.
  • In einem Update hinzugefügte Kurzvideos bestätigen, dass die neuen KI-Funktionen des Pixel 8 Pro, darunter Magic Editor und AI Wallpaper, eine dauerhafte Internetverbindung benötigen.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-10-23
Meinungen auf Hacker News

  • Google sagte dazu: „Beim neuen Tensor G3-Chip haben wir alle wichtigen Subsysteme aktualisiert und damit den Weg für generative On-Device-KI geebnet.“
    Das ist eindeutig eine Formulierung mit Ausweichspielraum und muss in der Praxis nicht bedeuten, dass die gesamte generative KI auf dem Tensor G3 läuft. Man könnte auch behaupten, die Arbeit am G3 sei eine Vorbereitung für künftige Chips. Trotzdem wirkt es noch ziemlich unrealistisch, generative KI auf einem mobilen SoC lokal auszuführen, vor allem mit ordentlicher Leistung und vertretbarem Stromverbrauch.

    • Unter iOS gibt es Apps, die Stable-Diffusion-artige Modelle lokal auf dem Gerät ausführen
      https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
      Tensor-Chips dürften zwar genug Leistung haben, um Ähnliches zu tun, aber vermutlich ist die Effizienz niedrig, weshalb man die lokale Ausführung vermeidet.
    • Ich verstehe nicht, warum das der zentrale Kritikpunkt sein soll. Das Embargo nach dem Launch, mit dem die tatsächliche Performance vor Verbrauchern verborgen werden soll, ist ein viel größeres Problem.

  • Wenn man Googles Zitat liest, heißt es: „Bei Tensor geht es nicht um Geschwindigkeit oder traditionelle Leistungskennzahlen, sondern darum, das mobile Computing-Erlebnis voranzubringen … den Weg für generative On-Device-KI zu ebnen … es enthält eine TPU der nächsten Generation, die speziell dafür entwickelt wurde, Google-KI-Modelle auszuführen.“
    Warum braucht man dann eine Internetverbindung? Ich frage mich, ob das in letzter Minute gescheitert ist und man es deshalb so veröffentlichen musste, oder ob es von Anfang an nur Werbetext war.

    • Obwohl Google sagt: „Bei Tensor geht es nicht um Geschwindigkeit oder traditionelle Leistungskennzahlen“, heißt es in [1]: „Pixel 8 und Pixel 8 Pro sind mit Google Tensor G3 ausgestattet, Googles schnellstem, effizientestem und sicherstem Chip … alle wichtigen Komponenten wurden für mehr Leistung und Effizienz aktualisiert … die Zahl der On-Device-Machine-Learning-Modelle hat sich seit 2021 mehr als verdoppelt, und auch Komplexität und Raffinesse haben zugenommen.“
      Das klingt ziemlich stark nach einer Aussage über Performance.
      [1] https://store.google.com/intl/en/ideas/articles/google-tenso...
    • Das scheint ziemlich wahrscheinlich. Wenn die Chip-Leistung hinter den Erwartungen zurückbleibt, blockiert man Benchmark-Apps und sagt der Presse, dass Geschwindigkeit einen ohnehin nie interessiert habe. Problem gelöst.
    • Ein On-Device-Chip für einige KI-Aufgaben ist etwas ziemlich anderes als High-End-Grafikkarten, GPUs und Beschleuniger auf Serverniveau, die Hunderte Watt verbrauchen, um generative KI auszuführen.
      Der aktuelle Stand bei Low-End-generativer KI besteht auch nur darin, optimierte Modelle auf Desktop-GPUs laufen zu lassen und dabei eher mittelmäßige Ergebnisse zu bekommen. Für ein Smartphone ist das schwer. Viel Machine Learning läuft bereits auf dem Gerät und mehr wird dorthin verlagert, aber generative KI scheint noch nicht an diesem Punkt zu sein.
    • Das ist ziemlich klar. Manche Machine-Learning-Aufgaben sind auf einem Smartphone problemlos machbar, zum Beispiel Spracherkennung. Andere nicht, zum Beispiel Inpainting.
      Google formuliert zwar etwas rutschig, aber dass ein Machine-Learning-Modell, das eine GTX 4090 braucht, nicht auf einem Smartphone läuft, ist keine Überraschung.
    • Das war exakt derselbe Ablauf wie bei Stadias negative latency, und die wurde bis zur Einstellung von Stadia nie tatsächlich umgesetzt.

  • Hat jemand beim Einsatz von Magic Editor tatsächlich den Netzwerkverkehr beobachtet, um zu sehen, ob die Verarbeitung ausgelagert wird? Oder ist das nur eine Schlussfolgerung daraus, dass eine Internetverbindung erforderlich ist?
    Könnte es nicht sein, dass das Internet nur zum Abrufen neuer Modelle nötig ist und die Verarbeitung weiterhin auf dem Gerät erfolgt?

    • Magic Editor, also der Regenbogen-Button in Google Photos, funktioniert nur, wenn Cloud-Backup aktiviert ist; daher muss man wohl davon ausgehen.
    • Das wirkt wie die plausibelste Antwort, scheint hier aber nicht viel Beachtung zu finden.

  • Bis zu einem gewissen Grad ergibt das Sinn. Generative KI ist sehr teuer.
    Aber generativ ist nur eine Klasse von KI-Aufgaben, und Vorhersage/Inference ist wahrscheinlich der Bereich, in dem Tensor hauptsächlich genutzt wird. Bei Magic Eraser könnte „Objekte im Foto finden“ auf dem Gerät laufen, während „entscheiden, womit die entfernte Stelle gefüllt wird“ auf dem Server passiert.

    • Es gibt Inference und Training, und generativ ist ebenfalls Inference.

  • Wenn das in die Cloud ausgelagert wird, wofür ist dann der KI-Prozessor des Tensor G3 überhaupt da?

    • Er wird für einige nicht-generative Aufgaben wie Spracherkennung genutzt, aber andere Chips können solche Aufgaben ebenfalls erledigen.
      Der einzige Punkt, bei dem Tensor G3 besser wirkt, ist vielleicht, dass man Qualcomms Gewohnheit umgeht, Consumer-Smartphone-Chips frühzeitig einzustellen.
    • Ich weiß nicht, ob er auch Hardwarebeschleunigung für HTTP-Aufgaben unterstützt.
    • Glaubwürdigkeit fürs Marketing.

  • Laut Googles KI-Antwort kann das Google Pixel 8 Pro generative KI-Modelle lokal auf dem Gerät ausführen, aber nicht alle.
    Google kündigte auf der Made-by-Google-Veranstaltung im Oktober 2023 an, dass der angepasste Tensor-G3-Chip des Pixel 8 Pro destillierte Versionen von Googles Text- und Bildgenerierungsmodellen ausführen kann. Solche Modelle können Funktionen wie Bildbearbeitung und smarte Antworten in Gboard antreiben. Einige generative KI-Aufgaben, etwa das Ausführen großer Sprachmodelle wie Bard, benötigen jedoch weiterhin zu viel Rechenleistung, um lokal auf einem Smartphone zu laufen, und werden daher in die Cloud ausgelagert.
    Als Beispiele für lokal ausführbare Funktionen werden Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies und KI-Zusammenfassungen in Google Recorder genannt. Wenn Tensor-Chips besser werden, könnten künftig mehr generative KI-Funktionen auf Pixel-Geräten on-device laufen, heißt es. ʘ ‿ ʘ

  • Nicht „Tensor“ lagert irgendetwas aus, sondern die Android-Apps geben diese Arbeit an Google Cloud weiter. Ich sehe nicht ganz, was der SoC damit zu tun hat.

    • Wer hat diese Android-App denn entwickelt?
    • Warum nutzen diese Apps dann aber nicht die lokale KI-Engine?

  • Beim Lesen der Überschrift musste ich sofort an Juicero denken.
    Wie kann man etwas als on-device bewerben und dann direkt Daten woanders hinschicken?

  • Ist das nicht selbstverständlich? Wenn hochwertige generative Funktionen on-device laufen würden, wäre das im Gegenteil ein riesiger Sprung.

  • „Generative KI-Funktionen, bei denen KI tatsächlich etwas erzeugen muss, etwa das Erstellen von AI Wallpapers oder Magic Editor, benötigen eine permanente Internetverbindung … sie sind so träge, dass man ständig merkt, dass sie nicht on-device laufen“ – das finde ich in Ordnung.
    Generative KI ist besser geworden, weil sie enorm groß und ressourcenhungrig geworden ist. Selbst auf Consumer-GPUs für über 1000 Dollar ist sie nicht besonders schnell. Solche Generierungsaufgaben für eine kleine On-Device-Umgebung herunterzuskalieren, obwohl man weiß, dass die Ergebnisse deutlich schlechter werden, wirkt wie eine enorme Verschwendung von Zeit und Aufwand. Allerdings bleibt dann weiterhin die Frage, worin Tensor am Edge eigentlich genau gut ist; und da Chiphersteller wie AMD, Qualcomm und ARM ebenfalls große neuronale Netze und Tensor-Cores integrieren, ist das eine ziemlich brisante Frage.

    • Alles, was latenzempfindlich ist, eignet sich im Grunde für Edge-Verarbeitung. Off-Device-Spracherkennung wird zu einer schrecklichen Erfahrung, wenn die Verbindung nicht perfekt ist.
      Man stelle sich vor, man klickt in Photoshop auf ein Objekt und lässt die KI die Kontur finden, aber bei jedem Klick wird das Bild gebündelt in die Cloud hochgeladen, und man wartet für jede Auswahl jeweils 5 Sekunden auf Scheduling, Verarbeitung und Rückgabe. Auch der ML-Objekterkennungsfokus in einer Kamera-App ergäbe keinen Sinn, wenn die Cloud die Objekte im Sucher mit 3 Sekunden Verzögerung verfolgen würde.
    • Selbst wenn man das in Ordnung findet, bedeutet es, dass es sich um einen schwachen Prozessor handelt, der die beworbenen Aufgaben nicht erfüllen kann. Der G3 ist bei der Leistung schlechter als der Snapdragon Gen 2 und liegt möglicherweise eher beim Gen 1. Ich bin mir auch nicht sicher, ob der Akkuverbrauch ähnlich ist; außerdem soll bald der Snapdragon Gen 3 erscheinen.
    • Es gibt Spracherkennung, Wake-Word-Erkennung, Objekterkennung, Autovervollständigung usw.
      Besonders die Wake-Word-Erkennung läuft kontinuierlich als relativ kleines Convolutional Neural Network über einem festen Fenster; daher ist Energieeffizienz hier sehr wichtig.
    • Wenn diese „Magie“ als on-device beworben wird, ist das nicht in Ordnung.
      Kurz vor dem Launch des Pixel 8 hatte ich die von Google-Forschern veröffentlichten Papers zu RealFill[0] und Break-A-Scene[1] gelesen und versucht, schnell ein Modell-Ensemble umzusetzen. Danach erwartete ich, dass die Tensor-Cores des G3 entweder einen Sprung machen würden wie die Natural-Language-Processing- und Context-Awareness-Cores des Moto X von 2013[2], oder eine überraschend gute Inferenzleistung liefern würden wie Coral[3], Googles Edge-TPU. Das Moto X bot bei Active Display, Gestenerkennung und Spracherkennung in lauten Umgebungen bessere Implementierungen als 95 % der heutigen Mobilgeräte, und Coral war ebenfalls großartig; wegen Chipmangel, der sprunghaften Art des Unternehmens und des Rückzugs aus dem IoT-Geschäft ging die Hardwareproduktion 2022 jedoch an ASUS über.
      Der Punkt ist: Meine Annahmen zur Inferenzleistung von Hardware für über 1000 Dollar waren grundlegend falsch. Dass man sich auf das Buzzword „generativ“ stützt, wirkt, als hätte man von Twitter-Influencern oder aus gescheiterten Versuchen, die neuesten großen Sprachmodelle auszuliefern, die falschen Lehren gezogen. Auch auf Mobilgeräten war spezialisierte Hardware für bestimmte Aufgaben in der Vergangenheit möglich und wurde tatsächlich entwickelt. Wenn die Anforderungen an Leistung, Stromverbrauch und Verarbeitungszeit nicht erfüllt werden konnten, hätte man die Werbeaussagen neu ausrichten sollen, statt sich in einer Weise zu exponieren, die zu Sammelklagen wegen der Hardware führen könnte.
      [0] https://realfill.github.io/
      [1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
      [2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
      [3] https://coral.ai/