Apple will, dass KI direkt auf eigener Hardware statt in der Cloud läuft

Apple will KI direkt auf Hardware statt in der Cloud ausführen

• Apple hat in einer aktuellen Studie gezeigt, wie sich große Sprachmodelle auf Smartphones ausführen lassen, und damit seine Pläne offengelegt, im Bereich Künstliche Intelligenz zu Wettbewerbern aufzuschließen
• Das Forschungspapier "LLM in a Flash" präsentiert eine Lösung für die aktuellen Rechenengpässe und zeigt einen Weg auf, wie sich LLMs auf Geräten mit begrenztem Arbeitsspeicher effizient inferieren lassen
• Dieser Ansatz eröffnet einen Weg dazu, wie große Datenspeicher, die Apps wie ChatGPT antreiben, auf Nutzerfragen reagieren, also inferieren können

Apples KI-Forschung und Marktausblick

• Apple zeigt neue Bewegung in der KI-Forschung, etwa indem Bildgenerierungsmodelle wie Stable Diffusion auf eigenen Chips ausgeführt werden können
• Smartphone- und Chiphersteller erwarten, dass neue KI-Funktionen den Smartphone-Markt beleben werden; laut Counterpoint Research sollen 2024 mehr als 100 Millionen KI-zentrierte Smartphones ausgeliefert werden
• Obwohl Apple Siri bereits 2011 eingeführt hat, gibt es die Wahrnehmung, dass das Unternehmen bei der Begeisterung für Künstliche Intelligenz, die nach der Veröffentlichung von OpenAIs ChatGPT das Silicon Valley erfasst hat, etwas außen vor geblieben ist

Technische Herausforderungen und Datenschutz

• Große KI-Modelle wie ChatGPT oder Googles Bard auf persönlichen Geräten auszuführen, ist technisch äußerst anspruchsvoll, da Smartphones nicht über die enormen Rechenressourcen und die Energie eines Datenzentrums verfügen
• Wenn dieses Problem gelöst wird, könnten KI-Assistenten schneller als über die Cloud reagieren und auch offline funktionieren; außerdem könnte dies dem Datenschutz helfen, weil Fragen direkt auf dem persönlichen Gerät beantwortet werden und Daten nicht in die Cloud gesendet werden müssen

Fazit des Papers

• Die Apple-Forscher schreiben im Fazit des Papers Folgendes:

  „Unsere Forschung bietet nicht nur eine Lösung für die derzeitigen Computer-Engpässe, sondern schafft auch einen Präzedenzfall für künftige Forschung. Wir glauben, dass mit der fortlaufenden Zunahme von Größe und Komplexität von LLMs Ansätze wie diese essenziell sind, um das volle Potenzial von LLMs auf einer breiten Palette von Geräten und in Anwendungen auszuschöpfen.“

Meinung von GN⁺

• Apples aktuelle Forschung eröffnet die Möglichkeit, Smartphone-Nutzern eine schnellere und persönlichere KI-Erfahrung zu bieten.
• Angesichts der Datenschutzbedenken vieler Nutzer kann die Verarbeitung von Daten auf dem persönlichen Gerät statt in der Cloud für viele eine attraktive Alternative sein.
• Wenn diese Technologie kommerzialisiert wird, könnten Nutzer auch ohne Internetverbindung fortschrittliche KI-Funktionen verwenden, was die Nutzbarkeit und den Komfort von Smartphones deutlich verbessern dürfte.

[GN⁺]

Hacker-News-Kommentare

• Zu sagen, Apple liege im Bereich der künstlichen Intelligenz (AI) zurück, ist verrückt.

  • OpenAI steht zwar im Rampenlicht, aber die Suche basiert auf Link-Werbung und dem Verkauf von Daten und ist daher für AI weniger vielversprechend.
  • Die derzeitige „große“ AI wird von den Cloud-Kosten für das Training ausgebremst, und die großen Player kämpfen darum, Software auf Hardware zu verlagern.
  • OpenAI arbeitet mit kommerziellen Partnern auf der ganzen Welt zusammen und spricht über AGI (allgemeine künstliche Intelligenz), aber das ist nicht realistischer als Kryptowährungen, die Zentralbanken ersetzen sollen.
  • Apple hingegen verbaut seit mehr als vier Jahren neuronale Prozessoren in seinen Geräten, und AI-Funktionen sind Teil jeder Marketingkampagne.
  • Die erweitere Realität von visionOS bietet einen neuen Bereich für den Nutzen von AI und zielt nicht nur auf Unterhaltung, sondern auch auf Arbeit, in der Remote-Arbeit zur Norm wird.
  • Apple ist das einzige existierende sichere und datenschutzfreundliche Ökosystem.

• Ich freue mich, dass AI als Teil des aktuellen iOS direkt auf der Hardware läuft.

  • Es wird von einer Erfahrung berichtet, bei der Siri beim Fahren den Inhalt eines Fotos korrekt beschrieben hat, als eine Nachricht einging.
  • Da diese Funktion Ende-zu-Ende-verschlüsselt ist, muss die Erkennung lokal stattgefunden haben und nicht während der Übertragung der Nachricht.
  • Das ist als Qualitätsverbesserungs-Update spannend, und es wird Vorfreude darauf geäußert, dass AI wachsen kann, wenn mehr Verarbeitung direkt auf der Hardware möglich wird.

• Es wird empfohlen, Mistral 7B auf einem mobilen Gerät auszuprobieren.

  • Auf einem iPhone 15 wurde die entsprechende App getestet, und die Leistung wird als sehr gut bewertet.
  • Der Nachteil ist, dass die App fast den gesamten Speicher des Telefons benötigt; wenn man zu einer anderen App wechselt und zurückkehrt, wird der Zustand zurückgesetzt und das Modell muss von Grund auf neu geladen werden.

• Ich denke, dass das Ausführen von AI direkt auf dem Gerät in der heutigen Welt mit leistungsstarken Telefonen/Geräten der nächste Schritt ist.

  • Es wird ein Telefon mit starken Spezifikationen aus dem Jahr 2021 verwendet, und es wird angenommen, dass Apple teure AI-Apps auf solche leistungsfähigen Endgeräte der Nutzer auslagern möchte.
  • Das wirkt wie ein Sieg für die Privatsphäre von Menschen, die nicht wollen, dass ihre persönlichen Daten fürs Training verwendet werden, und die lieber Kontrolle darüber haben, welches Modell sie nutzen und welcher Ethik das Modell folgt.

• Apples CoreML-Bibliothek existiert seit einigen Jahren und enthält BERT-Modelle.

  • Es besteht die Erwartung, dass in iOS und iPadOS weiterentwickelte Transformer-Modelle eingeführt werden, die über BERT hinausgehen.
  • Das iPad Pro hat 16 GB RAM und kann ein 13B-Modell ausführen.
  • Nach dem Kauf eines Mac Mini mit 32 GB wurde das Gefühl geäußert, dass sich die Modelle, die man in den sechs Wochen darauf ausführen kann, stark verbessert haben.
  • Die Erwartungen an die Zukunft sind hoch.

• Es ist interessant, dass AI das Potenzial hat, einen neuen Upgrade-Zyklus für Smartphones auszulösen.

  • Ob AI-Funktionen ein Upgrade tatsächlich rechtfertigen, ist unklar; falls sie sich auf die Akkulaufzeit auswirken, könnte sich das Wertversprechen auch nicht wesentlich ändern.

• Ich denke, dass lokales Ausführen der beste Ansatz ist, wenn AI Risiken für den Datenschutz mit sich bringt.

  • In Zukunft möchte man die eigenen kognitiven Fähigkeiten mit AI um das Zehnfache steigern, und dafür müssten Informationen in Echtzeit mit dem Gehirn ausgetauscht werden.
  • Niemand möchte an eine Cloud-Datensynchronisierung angeschlossen sein, über die Werbetreibende und Spionagebehörden Einblicke in Gedanken erhalten.

• Apple spart die Kosten für den Betrieb der Infrastruktur, die nötig wäre, um iPhone-Nutzern AI/ML-Optionen anzubieten.

  • Dadurch wird die Rechenlast verteilt, Kosten werden gespart und Ausgaben genutzt, die bereits in die Herstellung der Geräte geflossen sind.
  • Da die Daten das Telefon nicht verlassen, wird den Verbrauchern Privatsphäre geboten.

• Ich frage mich, wie Unternehmen wie OpenAI reagieren werden, wenn AI auf dem Gerät zum Mainstream wird.

  • Da ihr Geschäftsmodell auf API-Zugriff basiert, könnten sie anfangen, Offline-Modelle zu verkaufen.
  • Dann könnte allerdings das Problem mit Raubkopien entstehen.

• Apple hat ausdrücklich die Absicht erklärt, AI auf dem Gerät auszuführen, obwohl in der neuesten Generation dem Neural Engine nur wenig zusätzliche Chipfläche zugewiesen wurde.

  • Dafür gibt es einige mögliche Erklärungen, und es wäre interessant, die Sicht von jemandem zu hören, der besser weiß, welche davon zutrifft.
  • Möglicherweise hält Apple die bestehende Hardware für leistungsfähig genug, oder die Auslastung der ANE rechtfertigt keine zusätzlichen Ressourcen.
  • Vielleicht ist auch geplant, AI-Berechnungen wieder stärker zu verallgemeinern, etwa über Vektoroperationen.
  • Im pessimistischsten Szenario wird eine große Steigerung vielleicht für den Zeitpunkt zurückgehalten, an dem Upgrades erzwungen werden müssen.