- Apple hat seine Vision-Language-AI-Modelle (AFM, Apple Foundation Models) sowie das Foundation Models Framework (API) für Entwickler neu vorgestellt und dabei Leistung und Effizienz sowohl der On-Device- als auch der Cloud-Modelle deutlich verbessert
- Das AFM-On-Device-Modell besteht aus einem 3B-Parameter-Transformer und einem Vision-Transformer mit 300 Millionen Parametern und unterstützt Text- und Bildeingaben sowie mehrsprachige und visuelle Funktionen; beim Servermodell kommt eine benutzerdefinierte MoE-Architektur zum Einsatz
- Es bietet starke Funktionen und gute Zugänglichkeit für Entwickler, darunter Modellkomprimierung (Quantisierung und LoRA), Unterstützung für 15 Sprachen, Bildverständnis und Tool-Nutzung
- Das On-Device-Modell zeigte bei nicht-US-englischen Eingaben und beim Bildverständnis Vorteile gegenüber Konkurrenzmodellen, das Servermodell bleibt bei der Leistung jedoch hinter aktuellen Modellen wie GPT-4o zurück
- Im Fokus stehen zudem Apples Kurswechsel bei der AI-Strategie und der Einfluss innerhalb des iOS-Ökosystems, vor dem Hintergrund der jüngsten Kontroversen um ein Apple-Paper und der Verzögerung des Siri-AI-Upgrades
Umfassendes Update für Apple Foundation Models (AFM)
- Apple hat sowohl seine On-Device- (für mobile Geräte) als auch servergehosteten AI-Modelle (AFM) aktualisiert; Geschwindigkeit, Effizienz und Leistung wurden deutlich verbessert
- Neu ist auch die Entwickler-API (Foundation Models Framework), mit der sich On-Device-AI auf Geräten mit aktiviertem Apple Intelligence ansprechen lässt
Zentrale Architektur und Funktionen
- Ein-/Ausgabe: Text, Bilder (bis zu 65.000 Token Eingabe), Ausgabe als Text
- Architektur:
- AFM-on-Device: Transformer mit 3 Milliarden Parametern, Vision-Transformer mit 300 Millionen Parametern
- AFM-Server: benutzerdefinierter Mixture-of-Experts-(MoE)-Transformer (Parameterzahl nicht offengelegt), Vision-Transformer mit 1 Milliarde Parametern
- Leistung: Stärken bei nicht-US-englischen Eingaben und beim Bildverständnis
- Verfügbarkeit: AFM-on-Device ist über das Foundation Models Framework verfügbar. AFM-Server ist nicht öffentlich nutzbar
- Unterstützung für 15 Sprachen sowie Tool-Nutzung
- Nicht offengelegte Informationen: Anzahl der Servermodell-Parameter, Token-Limits, Details zum Trainingsdatensatz usw. wurden nicht veröffentlicht
Technische Besonderheiten und Optimierung
- Quantisierung (Quantization):
- Beim On-Device-Modell wurden die meisten Gewichte auf 2 Bit und die Embedding-Layer auf 4 Bit komprimiert, unter Nutzung quantisierungsbewussten Trainings
- Beim Servermodell kommt ASTC (Komprimierung für Grafikdaten) zum Einsatz; komprimiert auf durchschnittlich 3,56 Bit (Embeddings 4 Bit)
- LoRA-Adapter gleichen den Leistungsabfall durch die Komprimierung aus und passen das Modell an spezifische Aufgaben wie Zusammenfassung, Korrekturlesen und Frage-Antwort an
- Eine benutzerdefinierte MoE-Architektur minimiert den Kommunikations-Overhead zwischen Hardwarekomponenten und verbessert so die Effizienz
Leistungsbewertung
- On-Device-Modell: Bei nicht-US-englischen Eingaben und Bildverständnis besser als Konkurrenzmodelle wie Qwen2.5-VL-3B
- Servermodell: Liegt teils knapp vor Qwen3-23B, erreicht aber nicht das Niveau aktueller Modelle wie GPT-4o
Jüngste Kontroversen und Wandel der AI-Strategie
- Apple sorgte zuletzt mit einem Paper, das die Grenzen der Schlussfolgerungsfähigkeit von fünf aktuellen AI-Modellen testete, für Kontroversen; kurz darauf erschienen Gegenstudien
- Das Siri-AI-Upgrade wurde auf unbestimmte Zeit verschoben, zudem wurde eine Sammelklage eingereicht, weil neuen iPhones angeblich AI-Funktionen fehlen
- Während Google/Android im AI-Wettbewerb schnell davonzuziehen scheint, richtet Apple seine AI-Strategie mit Foundation Models und ähnlichen Angeboten neu aus
Ausblick und Auswirkungen
- iOS dürfte mit vorinstallierten Modellen erheblichen Einfluss auf das Ökosystem der App-Entwickler ausüben
- Wegen Speicherbeschränkungen und begrenzter Modellgröße dürfte die Nutzung von Apples bereitgestellten Modellen stark zunehmen, statt dass App-Entwickler eigene AI-Modelle direkt mitliefern
- Es bleibt abzuwarten, ob Apples Strategie, AI zur Plattform zu machen, App-Innovationen und den Ausbau von On-Device-AI beschleunigen wird
Noch keine Kommentare.