- Auf iPhone, iPad und Mac integriert nutzbar
- Versteht und generiert Sprache und Bilder, führt Aktionen über mehrere Apps hinweg aus und erkennt auf Basis der Nutzererfahrung den Kontext, um alltägliche Aufgaben zu vereinfachen und zu beschleunigen
- Neue Schreibwerkzeuge: In den meisten Apps, in denen geschrieben werden kann – etwa Mail, Notizen, Pages und Drittanbieter-Apps – können von Nutzern verfasste Texte umgeschrieben, korrigiert und zusammengefasst werden
- Sortiert E-Mails nach Kategorien und zeigt statt der ersten Zeile einer E-Mail eine Zusammenfassung an. Erstellt schnelle smarte Antworten
- In der Notizen-App und der Telefon-App können Audios aufgezeichnet, transkribiert und zusammengefasst werden
- Wenn während eines Anrufs eine Aufzeichnung gestartet wird, werden automatisch alle Beteiligten darüber informiert; nach dem Gespräch erstellt Apple Intelligence eine Zusammenfassung, um die wichtigsten Punkte noch einmal durchzugehen
- Image Playground: Bildgenerierung kann frei ausprobiert werden. Drei Stile: Animation/Illustration/Skizze
- Direkt in Mail/Nachrichten/Notizen usw. nutzbar, außerdem als separate App verfügbar; Entwickler können die Funktion per API in ihren eigenen Apps verwenden
- Genmoji: Erzeugt Emojis, die genau zum Moment passen, und macht sie sofort nutzbar
- Auch die Suche in Fotos und Videos wurde verbessert
- Konkrete Suche mit natürlicher Sprache: Katie mit einem Sticker im Gesicht
- Auch die Suche nach einer bestimmten Szene mitten in einem Videoclip ist möglich
- Siri wirkt noch natürlicher, versteht den Kontext besser und kann Nutzer besser verstehen
- Versteht den Gesprächskontext, sodass Anschlussanfragen auf Basis des zuvor Gesagten möglich sind
- Neues Design: Während der Aktivierung leuchten die Ränder des gesamten Bildschirms
- Bietet überall vielfältige Hilfe zur Gerätenutzung und beantwortet Tausende Fragen zur Verwendung von iPhone, iPad und Mac
- Erkennt den Bildschirminhalt und versteht deshalb in immer mehr Apps die Informationen auf dem Display, um mit Zustimmung des Nutzers notwendige Aktionen auszuführen
- Kann über Apple-Apps und Drittanbieter-Apps hinweg Hunderte neue Aktionen ausführen
- Apple Intelligence basiert auf einem tiefen Verständnis persönlicher Situationen und Kontexte sowie auf dem Schutz der Privatsphäre der Nutzer
- Standardmäßig wird alles On-Device verarbeitet
- Falls nötig, können mithilfe von Private Cloud Compute auch komplexere Anfragen auf eigens aufgebauten Apple-Silicon-Servern verarbeitet werden, ohne dass sie irgendjemandem offengelegt werden
- Enge Integration von ChatGPT in die Apple-Plattformen angekündigt (andere LLMs sollen ebenfalls ermöglicht werden)
- Nutzer sollen ohne Wechsel zwischen mehreren Apps auf das Fachwissen von ChatGPT sowie dessen Fähigkeiten zum Verständnis von Bildern und Dokumenten zugreifen können
- Auch Siri nutzt, wenn es dies für nötig hält, das Fachwissen von ChatGPT
- ChatGPT wird in systemweite Schreibwerkzeuge integriert, sodass Nutzer beim Schreiben zu beliebigen Themen Inhalte mit ChatGPT entwerfen können
- Auch Zugriff auf die Bildwerkzeuge von ChatGPT
- Für Nutzer, die auf ChatGPT zugreifen, sind Datenschutzfunktionen standardmäßig integriert: Die IP-Adresse des Nutzers wird verborgen, und selbst OpenAI kann die Anfragen der Nutzer nicht speichern
- ChatGPT wird in der zweiten Jahreshälfte für iOS 18, iPadOS 18 und macOS Sequoia verfügbar sein und mit GPT-4o betrieben
- Nutzer können kostenlos auf ChatGPT zugreifen, ohne ein Konto zu erstellen; ChatGPT-Abonnenten können ihr Konto verknüpfen und kostenpflichtige Funktionen direkt auf Apple-Geräten nutzen
8 Kommentare
Soweit ich gehört habe, soll es ab dem iPhone 15 Pro gelten. Ich bin aber neugierig, welche Modelle genau unterstützt werden. Meiner Ansicht nach ist das getrennt von der Unterstützung für iOS 18.
In letzter Zeit gab es auffallend viele Apple-Artikel, die zeigen, wie sich Transformer-Modelle gut on-device ausführen lassen; ich vermute, das war vielleicht Teil der Forschung, um genau so etwas zu demonstrieren.
Hm … dass das in einen Sprachassistenten wie Siri integriert wird, scheint mir eine sehr gute Entscheidung zu sein.
Aber tatsächlich wirkt es etwas schwierig, das wirklich sinnvoll zu nutzen.
Ich persönlich nutze Mac / Galaxy Tab / Windows-Desktop,
bei Galaxy gibt es Internet- und Video-Zusammenfassungen,
unter Windows kann man direkt einen AI-Chatbot starten.
So etwas hätte ich gern auch in Safari und macOS ergänzt.
Die Zusammenarbeit mit ChatGPT ist für Apple-Nutzer wirklich eine großartige Nachricht.
Das erinnert mich ein wenig an iCloud. Sie bauen die Infrastruktur, mit der Nutzer direkt in Berührung kommen, zwar nicht selbst, übernehmen aber die Teile mit Nutzerkontakt selbst – also das, was sie am besten können. Die ChatGTP-App ist mir zu gewöhnlich, was ich ziemlich schade finde.
Letztlich heißt das wohl, dass sie Erkennungs-/Generierungsmodelle für natürliche Sprache und Bilder selbst in kleinem Maßstab entwickeln und alles on-device verarbeiten.
Das umfangreiche Wissen, das LLMs zeigen, nutzen sie dann einfach über Drittanbieter wie ChatGPT.
Ich denke, das ist ein sehr Apple-typischer Ansatz. Auch aus Nutzersicht ist daran eigentlich nichts auszusetzen.
Allerdings bleibt abzuwarten, wie schnell die Unterstützung für Koreanisch kommen wird.
Da stimme ich auch zu.
Sogar darauf zu warten, dass Koreanisch unterstützt wird, fühlt sich an, als würde ich vorher noch umkippen .. haha
Ich stimme zu. Ganz typisch für Apple nutzen sie ihre eigenen Ressourcen aktiv und bieten On-Device-AI in ihrer ganz eigenen Form an. Es ist zwar nichts spektakulär Neues, aber ich habe dennoch die Erwartung, dass es eine neue Erfahrung sein könnte.