Apples neues Transformer-basiertes Modell für prädiktiven Text

• Apple kündigt neue Funktionen für iOS und macOS an, die Transformer-Sprachmodelle nutzen und während der Eingabe Vorschläge für prädiktiven Text liefern
• Eines der ersten Transformer-basierten Modelle, das Apple öffentlich eingeräumt hat und das in die Betriebssysteme integriert werden soll
• Eine Funktion ähnlich der automatischen Vervollständigung in Gmail, die einzelne Wörter vervollständigt und gelegentlich mehr als zwei Wörter auf einmal vorschlägt
• Das Modell für prädiktiven Text wurde in AppleSpell entdeckt, einer internen macOS-Anwendung, die während des Tippens Rechtschreib- und Grammatikfehler prüft
• Das Modell befindet sich unter /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle, das mehrere Espresso-Modell-Dateien enthält, die beim Tippen verwendet werden
• Der Wortschatz des Modells für prädiktiven Text besteht aus 15.000 Tokens, darunter spezielle Tokens, Abkürzungen und Emoticons
• Die Architektur des Modells für prädiktiven Text scheint auf GPT-2 zu basieren und umfasst Token-Embeddings, Positionskodierung, eine Reihe von Decoder-Blöcken und eine Ausgabeschicht
• Apples Modell für prädiktiven Text verfügt über etwa 34 Millionen Parameter und 512 Hidden Units und ist damit deutlich kleiner als die kleinste Version von GPT-2
• Aufgrund seiner geringen Größe kann das Modell schnell und häufig ausgeführt werden, ohne den Akku des Geräts stark zu belasten, was die User Experience verbessert
• Wegen der Größenbeschränkung des Modells ist es nicht besonders gut darin, ganze Sätze oder Absätze zu verfassen, aber wenn es beim nächsten Wort oder bei den nächsten zwei Wörtern sehr sicher ist, ist es gut genug, um dem Nutzer Vorschläge zu machen
• Für alle, die die Funktion für prädiktiven Text selbst ausprobieren möchten, hat der Autor ein Skript auf GitHub bereitgestellt

[GN⁺]

Hacker-News-Kommentare

• Der Autor des Beitrags zeigt sich überrascht, dass sein Artikel auf Hacker News so populär ist, und erklärt, dass er dazu Fragen beantworten werde.
• Einige Nutzer stellen infrage, ob Apples neues Modell für prädiktiven Text GPT2 überlegen ist. Letzteres neigt dazu, auf Basis der Nutzereingabe thematisch unpassenden Text zu erzeugen.
• Es ist umstritten, ob ein Modell für prädiktiven Text ganze Sätze erzeugen sollte oder lediglich die vom Nutzer beabsichtigte Eingabe vorhersagen sollte.
• Die Temperatureinstellung, die steuert, mit welcher Wahrscheinlichkeit Tokens gewählt werden, die nicht zur Top-Vorhersage gehören, wurde in den Tests nicht erwähnt. Diese Einstellung kann sich auf Kreativität und Wiederholungsgrad der Modellausgabe auswirken.
• Einige Nutzer entdeckten durch Beobachtung der Konsolen-Logs des iOS-Simulators, dass unilm.bundle das neue Modell für Textvorhersage ist.
• Es wird spekuliert, ob künftige Versionen von Apples Modell auf kleinere Modelle umstellen werden, die mit höherwertigen Daten trainiert wurden, und ob Apple eine eigene Version von Copilot für Xcode entwickelt.
• Einige Nutzer weisen darauf hin, dass, falls der Zweck von Textvorhersage darin besteht, die Texteingabe zu beschleunigen, die Eingabeschnittstelle selbst zum Flaschenhals werden könnte, was den Bedarf an schnelleren Eingabemethoden nahelegt.
• Es wird über die Bereitstellung von AI diskutiert, wobei einige Nutzer vorschlagen, AI eher für kleine, verlässliche Aufgaben einzusetzen, statt sie als End-to-End-Lösung zu verkaufen.
• Es wurde die Frage aufgeworfen, ob sich das neue Modell für prädiktiven Text auf Grundlage von Erfahrung oder dem iMessage-Verlauf verbessern kann.
• Es wird vermutet, dass der Begriff „UnilmCtrl“ auf eine Abhängigkeit vom CTRL-Modell von Socher hindeutet, bestätigt ist das jedoch nicht. Einige Nutzer sagen, sie würden Apple mehr respektieren, wenn das Unternehmen schon länger im NLP-Bereich aktiv gewesen wäre.