- Die seit ChatGPT aufgekommenen textbasierten Interfaces sind leistungsfähig, aber weniger intuitiv als klassische GUIs
- Die UI der Zukunft entwickelt sich weg vom Chat hin zu „kontextgerechten Aktionen“, intelligenter Suche, automatischer Ordnung und sofortigem Feedback
- Beispiele: KI-gestützte Rechtsklick-Menüs, Suchfelder in natürlicher Sprache, Command Bars, Figma-AI zum Aufräumen von Ebenen, Echtzeitvorschläge von Grammarly usw.
- Es gibt bereits Versuche, auf Basis der Vorhersage von „dem nächsten Schritt des Nutzers“ automatisch Vorschläge zu machen oder sogar die UI selbst in Echtzeit durch ein LLM erzeugen zu lassen
- Traditionelle Software wird sich zunehmend veraltet anfühlen, und Produkte auf Basis neuer Muster könnten bestehende Produkte mit hoher Wahrscheinlichkeit ersetzen
Chat als Rückkehr zum Terminal
- LLM-Chats sind leistungsfähig und flexibel und zudem leicht zu programmieren
- Aber sie sind nicht intuitiv und umständlich in der Bedienung; für Einsteiger wirken sie einschüchternd, ähnlich wie frühere Terminals
> Chat ist als Debug-Interface nützlich, sollte aber nicht zur Standard-UX werden
Dokumentzentrierte UI + begleitender Chat
- UIs wie bei ChatGPT Canvas, in denen Dokumente oder Code im Mittelpunkt stehen und Chat nur ein Hilfsmittel ist, verbreiten sich
- Ähnliche Erfahrungen gibt es bereits in Copilot in Excel, Cursor IDE usw.
Generative Rechtsklick-Menüs
- KI-Funktionen lassen sich natürlich in Kontextmenüs integrieren
- Beispiel: Der Dia-Browser schlägt je nach Cursorposition direkt passende KI-Befehle vor
- Anfangs können solche Menüs übermäßig komplex werden; später ist weitere Verfeinerung nötig
Intuitive Suche in natürlicher Sprache
- Statt nach „air canada confirmation“ kann man nach „Wann ist mein Flug für die Dienstreise?“ suchen
- Beispiele: die E-Mail-Suche in natürlicher Sprache von Superhuman, Figmas designbasierte Suche
- Eine UX, die das Erinnern exakter Keywords voraussetzt, verschwindet allmählich
Eingeben statt auswählen: eine menschlichere Form der Steuerung
- Filter, Datum, Stil und andere klassische UI-Elemente basieren bisher auf Auswahl über Dropdowns
- Inzwischen fühlt es sich natürlicher an, „nächsten Mittwoch“ in natürlicher Sprache einzugeben
- Command Bars (
Command-K) und sofort ausführende Interfaces auf Basis von Autovervollständigung verbreiten sich
Inline-Feedback
- Neben Rechtschreibung ist auch Inline-KI-Feedback zu Stil, Argumentation oder Quellenanforderungen möglich
- Maggie Appletons Konzept des „Writing Daemon“: Echtzeitberatung durch Feedback-Charaktere mit unterschiedlichen Persönlichkeiten
Automatische Ordnung
- Wie bei Figmas KI zum Umbenennen von Ebenen lassen sich auch unübersichtliche Dateien automatisch strukturieren
- Auch komplexere Aufräumarbeiten lassen sich auf natürliche Weise ohne Chat-Interface umsetzen
Zusammenfassung und Informationsextraktion
- Apple Intelligence liefert Zusammenfassungen der Kerninformationen aus lockerem Gespräch („Der Termin heute fällt aus, verschoben auf nächste Woche“ usw.)
- Im Zeitalter der Informationsüberflutung werden nicht-chatbasierte KI-Zusammenfassungen, die nur das Signal herausfiltern, unverzichtbar
Stimme + multimodal
- Auch Sprachinterfaces sollten wie Chat nicht bei linearen Gesprächen stehen bleiben
- Beispiel: Man zeigt mit der Maus auf einen Button und sagt „Wo ist dieser Code?“, worauf das LLM die entsprechende Code-Stelle öffnet
- So werden menschlichere multimodale Interfaces möglich, die Zeigen und Sprechen gleichzeitig nutzen
Vorschläge für „den nächsten Schritt“: so natürlich wie die Tab-Taste
- Auf Basis von Nutzungsmustern werden Vorschläge für die nächste Aktion gemacht
- Beispiele: Tippfehler-Vorschläge von Grammarly, das Autocomplete-Muster über die Tab-Taste in Cursor
- Bei wiederkehrenden Aufgaben wird der Aufwand für Nutzer reduziert, damit sie sich auf kreatives Denken konzentrieren können
Die letzte Stufe: Das LLM erzeugt die UI in Echtzeit
- Mit bolt.new ist die Generierung von UI-Code bereits Realität
- Darüber hinaus entsteht ein Trend, bei dem die UI selbst in Echtzeit passend zum konkreten Nutzerziel erzeugt wird
- Nachteil: schwierig zu erlernen, und der UI-Zustand kann sich von Nutzer zu Nutzer unterscheiden
- Ein früheres Gegenbeispiel sind die adaptiven Menüs von Office XP (IntelliMenus), die scheiterten
- Wenn LLMs jedoch leistungsfähig genug werden, könnten sie sich auch als neues Standardmuster für UIs etablieren
Jetzt ist die Zeit, es zu bauen
- Diese KI-basierten UI-Muster strukturieren Software Schritt für Schritt neu
- Traditionelle UX wird zunehmend aus der Zeit gefallen wirken, und Produkte, die das zuerst einführen, werden neue Nutzererwartungen setzen
- So wie die GUI einst das Terminal ersetzte, erleben wir jetzt erneut einen Umbruch in der Software-UX
4 Kommentare
Ich sehe das ähnlich.
Vor Kurzem habe ich nach einem Programm gesucht, mit dem man Dateinamen stapelweise ändern kann … aber Programme mit allen Funktionen hatten wirklich absurd viele Menüs, und die Bedienung war extrem kompliziert. Für eine einfache Aufgabe wie „Hänge an den Dateinamen ein
_an“ muss man erst lernen, wie das Ganze funktioniert … Je mächtiger ein Programm ist, desto seltsamer wird es fast zwangsläufig.Deshalb habe ich es mit einem LLM neu gebaut. Den Code-Teil, der die Dateinamen tatsächlich ändert, lasse ich vom LLM erzeugen. So kann man die ganze komplexe UI komplett über Bord werfen.
Der Kern ist, dass ein LLM am Ende intern Code erzeugen und ihn in Echtzeit ausführen muss,
und genau darin liegt ein grundsätzlicher Unterschied zu bestehender Software oder klassischen UX-Konzepten.
Früher war alle Logik bereits vorbereitet, und der Kern der UI bestand darin, diese Logik mit dem Nutzer zu verbinden. Jetzt ist aber auch die Logik dynamisch geworden, daher muss die UI auch die Rolle übernehmen, diese dynamische Code-Erzeugung möglich zu machen.
Trotzdem wird wohl nicht alles ersetzt werden können. Für manches ist die bestehende UI bequemer.
(Ich ergänze das, da es keine Überarbeitung gab.)
https://www.bulkrenameutility.co.uk/#mainscreen
Bestehende Software wie oben kann sich mit der Einführung von LLMs wie unten verändern.
https://localfile.io/ko/run/rename/
Damit sich die UI/UX-Landschaft wirklich verändert, braucht es wohl auch auf der Plattformseite Versuche, sich vom Formfaktor von Handy oder Monitor zu lösen.
https://x.com/karpathy/status/1917920257257459899
Es könnte sich lohnen, auch einmal die Einschätzung von Andrej Karpathy zum Vergleich heranzuziehen.
Die Erfahrung, mit einem LLM zu „chatten“, fühlt sich an, als würde man ein Computerterminal aus den 80ern benutzen. Eine GUI (grafische Benutzeroberfläche) ist noch nicht erfunden, aber ich denke, einige ihrer Eigenschaften lassen sich bereits vorhersagen.
Sie wird visuell sein (wie frühere GUIs). Denn visuelle Informationen (Fotos, Diagramme, Animationen usw. – Sehen statt Lesen) sind wie eine zehspurige Autobahn ins Gehirn. Das Sehen hat die höchste Bandbreite bei der Informationsaufnahme, und etwa ein Drittel der Rechenleistung des Gehirns ist der visuellen Verarbeitung zugewiesen.
Sie wird generativ sein und sich je nach Eingabebedingungen verändern. Mit anderen Worten: Die GUI wird in Echtzeit passend zum Prompt des Nutzers erzeugt, und alle Elemente werden für ihren unmittelbaren Zweck existieren und angeordnet sein.
Eine etwas offenere Frage ist, in welchem Ausmaß sie einen „prozeduralen“ Charakter haben wird. Am einen Extrem könnte man sich vorstellen, dass ein einziges gigantisches Diffusion-Modell die gesamte Ausgabe-Canvas auf einmal erzeugt, und am anderen Ende steht eine Seite voller (prozedural erzeugter) React-Komponenten (z. B. Bilder, Diagramme, Animationen, Schaubilder usw.). Ich denke, es wird eine Mischung aus beidem sein, aber Letzteres wird das Grundgerüst bilden.
Aber ich wage schon jetzt die Behauptung, dass mit gegen unendlich gehenden Fähigkeiten eine fließende, magisch wirkende, vergängliche und interaktive 2D-Canvas-GUI ihre endgültige Form sein wird. Und ich denke, das beginnt bereits langsam (z. B. Code-Blöcke/Highlighting, LaTeX-Blöcke, Fett/Kursiv/Listen/Tabellen in Markdown, Emojis und etwas ambitionierter der Artifacts-Tab, Mermaid-Diagramme oder vollständigere Apps). Natürlich ist das alles noch sehr früh und primitiv.
Iron Man und in gewissem Maß auch Star Trek/Minority Report sind gute Beispiele für KI/UI in der Popkultur, die diese Richtung zeigen.