Überlegungen zum Uncanny Valley der generativen KI

• Generative KI hat im Unterschied zu anderen Technologien die Fähigkeit, uns zu überraschen
  • Manchmal ist das gut, manchmal vielleicht auch nicht
  • Im Zentrum dieser Technologieerfahrung stehen erwartungsgeleitete Fragen
    • „Ist das wirklich das, was ich erwartet habe? Ist das Ergebnis gut genug? Oder werde ich getäuscht?“
• Theoretisch sollte dieses Problem mit dem Fortschritt generativer KI an Bedeutung verlieren, in der Realität kann sie jedoch mit zunehmender „Menschlichkeit“ unheimlicher und unangenehmer wirken
  • Damit gerät sie in eine Situation, die in der Robotik seit Langem als „uncanny valley“ beschrieben wird
• Man könnte versucht sein, das Thema zu übergehen mit dem Hinweis, es lasse sich durch größere Datensätze oder besseres Training korrigieren. Solange es aber um Verwirrung in unseren Mentalmodellen von Technologie geht, ist dies ein „Problem, das anerkannt und gelöst werden muss“

Mentalmodelle und Anti-Patterns

• Mentalmodelle sind ein wichtiges Konzept in UX und Produktdesign, sollten aber auch in der AI-Community aktiver aufgegriffen werden
  • Im Alltag fällt das oft nicht auf: Annahmen über AI-Systeme sind ein gewöhnliches Muster
• Mit der wachsenden Popularität von AI-Coding-Assistenten werden „Sorglosigkeit gegenüber AI-generiertem Code“ und „Ersatz von Pair Programming durch generative KI“ als zwei Praktiken genannt, die vermieden werden sollten
  • Beides entspringt falschen Mentalmodellen darüber, „wie diese Technologie tatsächlich funktioniert“ und der Weigerung, ihre Grenzen anzuerkennen
  • Je überzeugender und „menschlicher“ diese Werkzeuge werden, desto schwerer wird es, zu erkennen, wie die Technologie tatsächlich funktioniert und wo die Grenzen der angebotenen „Lösungen“ liegen
• Für diejenigen, die generative KI in die Welt bringen, können die Risiken ähnlich oder sogar ausgeprägter sein
  • In der Regel geht es darum, etwas Überzeugendes und Nutzbares zu schaffen. Wenn dabei Nutzer jedoch in die Irre geführt, getäuscht oder verunsichert werden, geht der Wert verloren
  • Es überrascht daher nicht, dass Gesetze wie der EU AI Act entstehen, die Urheber von Deepfakes verpflichten, AI-generierte Inhalte entsprechend zu kennzeichnen
• Ähnliche Probleme gibt es nicht nur bei AI und Robotik, sondern auch beim Aufbau plattformübergreifender mobiler Apps
  • Unterschiedliche Plattformen werden unterschiedlich genutzt, daher muss das gesamte Experience-Design angepasst werden
  • Genauso gibt es bei generativer KI je nach Kontext und Use Case unterschiedliche Annahmen und Mentalmodelle, und der Punkt, an dem Nutzer ins Uncanny Valley geraten, ist jeweils ein anderer
  • Diese feinen Unterschiede verändern die Erfahrung und Wahrnehmung von LLM-Ausgaben
• Für Arzneimittelforscher, die riesige Mengen synthetischer Daten benötigen, ist Genauigkeit auf Mikroebene womöglich nicht entscheidend. Für Anwälte, die juristische Dokumente verstehen wollen, ist Genauigkeit dagegen von zentraler Bedeutung
  • Ins Uncanny Valley zu geraten, kann ein Signal sein, einen Schritt zurückzutreten und die eigenen Erwartungen neu zu bewerten

„Bestehende Mentalmodelle und Konzepte für generative KI sind kein vernachlässigbares Nebenproblem, sondern ein grundlegendes Designproblem.“
Ken Mugrage & Srinivasan Raguraman

Perspektivwechsel

• Das Uncanny Valley der generativen KI kann ein Problem sein, aber auch ein Werkzeug, das uns an die Grenzen der Technologie erinnert
• In der Branche gab es interessante Versuche, damit umzugehen
  • Ethan Mollick, Professor an der University of Pennsylvania, argumentiert, man solle AI nicht als gute Software verstehen, sondern als „ziemlich gute Menschen“
    • AI hat wie Menschen eigentümliche Stärken und Schwächen, daher ist schwer abzuschätzen, welche Aufgaben man ihr anvertrauen kann
    • Da es kein Handbuch gibt, lässt sich nur durch Zusammenarbeit lernen, worin AI tatsächlich gut ist
  • Mit anderen Worten: Erwartungen daran, was generative KI leisten kann und wo sie effektiv ist, sollten vorläufig und flexibel bleiben
  • Bis zu einem gewissen Grad kann die bewusste Reflexion über eigene Annahmen und Erwartungen ein Weg sein, das Uncanny Valley zu überwinden

Die Blackbox entschlüsseln

• Ein bloßer Denkwechsel reicht nicht aus
  • Er ist ein erster Schritt, aber es gibt auch Praktiken und Werkzeuge, die helfen können, anders über generative KI nachzudenken und die durch Mentalmodelle entstehenden Herausforderungen anzugehen
• Ein Beispiel ist die im aktuellen Technology Radar aufgegriffene Technik „Strukturierte Ausgaben aus LLMs erhalten“
  • Das lässt sich durch Prompts erreichen, die Antworten in einem bestimmten Format anweisen, oder durch Finetuning
  • Dank Werkzeugen wie Instructor ist das heute einfacher als früher
  • Ein Vorteil besteht darin, eine stärkere Ausrichtung zwischen Erwartungen und LLM-Ausgaben zu schaffen
    • Es bleibt möglich, dass etwas unerwartet oder nicht ganz passend ist, aber diese Technik entschärft das Problem zumindest teilweise
• Darüber hinaus gibt es weitere Techniken
  • Retrieval-augmented generation ist in der Regel ein besser steuerbarer Weg, mit der oft mühsamen Aufgabe der Kontrolle des „Kontextfensters“ umzugehen
  • Erfreulich ist, dass es Frameworks und Werkzeuge gibt, mit denen sich der Erfolg solcher Techniken bewerten und messen lässt
    • Ragas ist eine nützliche Bibliothek, die AI-Entwicklern Metriken etwa zu Treue und Relevanz bereitstellt
    • Auch DeepEval wird im Radar vorgestellt
• Messen ist wichtig, aber ebenso wichtig ist es, über passende Richtlinien und Policies für LLMs nachzudenken
  • Deshalb wird empfohlen, sich mit LLM Guardrails zu befassen
  • Außerdem sollten Maßnahmen ergriffen werden, um besser zu verstehen, was im Inneren dieser Modelle tatsächlich geschieht
    • Es ist möglicherweise unmöglich, diese Blackbox vollständig zu entschlüsseln, doch dank Werkzeugen wie Langfuse können Teams und Organisationen eine klarere Sicht darauf gewinnen, wie sie funktioniert
    • Das kann erheblich dazu beitragen, die Beziehung zu dieser Technologie neu zu definieren, Mentalmodelle zu verändern und die Wahrscheinlichkeit zu verringern, ins Uncanny Valley zu geraten

Kein Fehler, sondern eine Chance

• Diese Werkzeuge, beschrieben als „kambrische Explosion generativer KI-Tools“, können den Menschen im Kern der Branche helfen, generative KI neu zu denken und bessere Produkte zu bauen
• Für die breitere Welt wird diese Arbeit jedoch unsichtbar bleiben
  • Daher ist es neben der Weiterentwicklung der Toolchain, um generative KI besser zu kontrollieren und zu verstehen, wichtig anzuerkennen, dass bestehende Mentalmodelle und das Konzept generativer KI selbst ein grundlegendes Designproblem darstellen
  • Es ist auf dem weiteren Weg kein vernachlässigbares Nebenproblem

„Das Uncanny Valley der generativen KI ist kein Problem, das man beheben muss, sondern eine Gelegenheit, neu zu bewerten, was wir von dieser Technologie wirklich wollen und erwarten.“