Wortesäckchen, erbarme dich unser

• Menschen neigen dazu, AI ganz natürlich „wie einen Menschen“ wahrzunehmen, doch mit diesem Raster lassen sich Halluzinationen und seltsames Verhalten von LLMs nur schwer richtig verstehen
• Ein LLM ist keine kleine Persönlichkeit, sondern eher ein „Wortesäckchen (bag of words)“ voller Wörter, die aus dem Internet und aus Büchern zusammengekratzt wurden; seine Struktur gibt zu Eingaben die jeweils relevantesten Satzfragmente zurück
• Je nachdem, wie viel Text und Daten sich in diesem Säckchen angesammelt haben, unterscheiden sich Bereiche, in denen es gut ist (Ereignisse, Statistiken, minderwertige Forschung), und Bereiche, in denen es schwach ist (seltene Fakten, künftige wissenschaftliche Durchbrüche, wirklich gute Ideen), sehr deutlich
• Wenn man AI wie einen Menschen behandelt, springt sofort der Frame von Status- und Konkurrenzspielen an und führt zu Fragen wie „Wer ist besser?“ oder „Wer ersetzt wen?“, aber als Wortesäckchen betrachtet wird seine Rolle als einfaches Werkzeug und Verstärker sichtbar
• Der Name „künstliche Intelligenz“ fördert menschenzentrierte Vergleiche und vergrößert dadurch Verwirrung und Täuschungen rund um den Intelligenzbegriff; das Fazit lautet, dass wir künftig eine neue Metapher brauchen, die Nicht-Menschen nicht in ein menschliches Raster presst

---

Warum Menschen AI als menschenähnlich empfinden

• Menschen haben einen starken kognitiven Bias, selbst dort Gesichter, Absichten und Persönlichkeiten zu erkennen, wo gar keine sind
  • Übermäßige Mustererkennung, die im Grilled Cheese das Gesicht der Jungfrau Maria sieht und in einem Querschnitt eines Fadenwurms oder in einem Haufen Fische und Geflügel ein Menschengesicht erkennt
  • Wie in den Gemälden Arcimboldos ist es unser Standard, selbst in Stapeln aus Fisch und Geflügel ein „Gesicht eines alten Mannes“ zu lesen – eine kognitive Überempfindlichkeit
• Evolutionsgeschichtlich war eine Umwelt sicherer, in der es besser war, Dinge für Menschen zu halten als Menschen für Dinge
  • Eine Denkweise, die Krankheiten Hexen zuschreibt und Sonnenfinsternisse oder Vulkane übernatürlichen Wesen
  • Ein unbewusstes Interpretationsmuster, das Schlafparalyse nicht als „REM-Zustand mit gehemmtem motorischem Kortex“ erklärt, sondern als „ein Dämon sitzt auf meiner Brust“
• Das Verhalten, das LLMs zuletzt zeigen, kollidiert immer wieder mit dieser Metapher vom „kleinen Menschen“
  • Sie erfinden Quellen für Hausaufgaben, zählen die Anzahl der r in „strawberry“ falsch oder empfehlen, Pizza mit Holzleim zu bestreichen
  • Solche Fehler, die bei Menschen schwer nachvollziehbar sind, wirken viel natürlicher, wenn man sie als mechanisches Generierungssystem betrachtet
• Der Versuch, LLMs mit Regeln der menschlichen Psychologie zu verstehen, ist wie Scrabble nach den Regeln von Pictionary verstehen zu wollen
  • Diese Systeme verhalten sich nicht wie Menschen, und die Beschreibung, dass sie nicht dasselbe sind wie Menschen, ist keine Kritik, sondern eine schlichte Beschreibung
  • Solange wir AI Persönlichkeitswahrnehmung überstülpen, werden Überraschung und Verwirrung anhalten

WHAT’S IN THE BAG: AI = Wortesäckchen (bag of words)

• AI ist ein Wortesäckchen, das fast alle Wörter enthält, die aus dem Internet und aus Büchern zusammengetragen wurden
  • Wenn Nutzer eine Frage stellen, kann man die Struktur so verstehen, dass das Säckchen daraus die am stärksten relevanten Wortbündel hervorholt und als Antwort ausgibt
  • Unternehmen fügen dazu unsichtbare Systemprompts hinzu, also „unsichtbare Wörter“, durch die plausibler wirkende Antworten erzeugt werden
• Diese Metapher ist besonders nützlich, um Lügen und Halluzinationen von LLMs zu verstehen
  • Weist man auf eine falsche Antwort hin, folgen sofort übertriebene Entschuldigungen und Beteuerungen, doch schon im nächsten Satz wird wieder etwas Falsches oder Erfundenes gesagt
  • Nach menschlichen Maßstäben wirkt das doppelzüngig und täuschend, aber als Ergebnis von Sätzen, die im Säckchen unter „Formulierungen, wenn auf eine Lüge hingewiesen wird“ liegen, erscheint es natürlich
  • So wie man bei einem Taschenrechner Multiplikation nicht als menschliches Verhalten bezeichnet, handelt es sich auch hier nicht um Verhalten, sondern um ein Ausgabemuster
• Das „Wortesäckchen“ dient auch als Heuristik, um vorherzusagen, wo es stark und wo es schwach ist
  • Bei oft dokumentierten Ereignissen wie „die 10 schlimmsten Verkehrsunfälle in Nordamerika“ kann es gut antworten, weil im Säckchen reichlich Material liegt
  • Dagegen ist bei seltenen Informationen wie „Wer hat wann Brachiosaurus brancai umklassifiziert?“ die Wahrscheinlichkeit für Fehlantworten hoch, weil im Säckchen wenig Text dazu steckt
  • Auf Fragen wie „Was ist die wichtigste Lektion im Leben?“ kommen ähnlich oberflächliche Antworten, weil die Menschheit zu diesem Thema bereits ungeheure Mengen an Text voller pseudo-tiefer Einsichten geschrieben hat
• Sobald man AI als allwissende, allmächtige Intelligenzmasse ansieht, entstehen leicht Reaktionen wie „Dass sie selbst das nicht weiß, macht sie noch geheimnisvoller“
  • Reaktionen auf Coin-Magic-Videos im Stil von „Nicht mal ChatGPT weiß das“ stammen aus einem Frame, in dem AI wie „der klügste Rabbi in der Nachbarschaft“ gesehen wird
  • Aus der Perspektive des Wortesäckchens ist es aber selbstverständlich, dass es das nicht weiß: Zauberer veröffentlichen ihre Tricks nicht als Text, und sie sind schwer zu beschreiben, also gibt es im Säckchen fast keine Information dazu

GALILEO GPT – Wissenschaft und die Grenzen des „Wortesäckchens“

• Mit der Metapher des „Wortesäckchens“ lässt sich auch abschätzen, wie weit AI künftig gut werden kann
  • Die Kernfrage lautet: „Womit muss man das Säckchen füllen, damit es diese Aufgabe leisten kann?“
• Bei bestimmten wissenschaftlichen Aufgaben lässt sich das Säckchen bereits ausreichend füllen
  • Wenn man 170.000 Proteindatensätze hineinpackt, kommen Ergebnisse wie Proteinstrukturvorhersage (AlphaFold) heraus
  • Mit Daten zu chemischen Reaktionen sind auch Dinge wie Empfehlungen für neue Synthesewege von Molekülen möglich, und wenn man ganze Paper einspeist und Experimente beschreibt, sogar Erkennung, ob es bereits Vorarbeiten gibt
• In Bereichen mit genügend Text könnte sogar die gesamte Pipeline minderwertiger Forschung automatisiert werden
  • Forschung, die wie eine Postersession auf einer Psychologiekonferenz aus halbwegs passend wirkenden Begriffen besteht und dann nur Korrelationsanalysen und p-Werte ausspuckt, ist bereits ein Bereich, den das Säckchen gut bedienen kann
  • Bei solcher Forschung könnte AI vom Formulieren der Hypothese über das Studiendesign und die Datenerhebung bis zu Analyse und Posterproduktion den gesamten Prozess übernehmen
• Wissenschaft ist jedoch ein „strong-link“-Problem, deshalb wird sie nicht wesentlich besser, selbst wenn man minderwertige Forschung millionenfach vermehrt
  • Wenn man wirklich innovative Forschung will, ist schon unklar, womit man das Säckchen überhaupt füllen müsste
  • In Paper-Texten stecken Betrug, Fehler und implizite Annahmen, und oft fehlen entscheidende Informationen wie Daten oder methodische Details
  • „Fast alles, was Wissenschaft in der Praxis tatsächlich funktionieren lässt, steht nicht im Webtext.“
• „Wenn es im Jahr 1600 genug Text gegeben hätte, um ein LLM zu trainieren, hätte es Galileis Entdeckungen ‚spoilern‘ können?“
  • Mit den Texten, die damals im Säckchen gewesen wären, hätte es wahrscheinlich statt der Idee einer bewegten Erde nur die Argumente der vorherrschenden Astronomie (Ptolemäus) wiederholt
  • Für die Behauptung „Die Erde bewegt sich mit 67.000 mph“ hätten menschliche Trainer wohl „Hör auf zu halluzinieren!“ gerufen und Minuspunkte vergeben
• Noch grundlegender fehlten in jener Zeit sogar die Wörter, um das Konzept von „entdecken“ überhaupt auszudrücken
  • Galilei konnte die Entdeckung der Monde des Jupiter nur in umständlichen Formulierungen beschreiben, etwa dass er etwas gesehen habe, das zuvor niemand gesehen hatte
  • Der Denkrahmen, mit einem Teleskop neue Wahrheiten zu „entdecken“, war selbst den Menschen damals fremd und hätte in den Texten, aus denen das Säckchen lernt, gar nicht existiert
• Das Säckchen von 2025 wird zwar bessere wissenschaftliche Erklärungen liefern als das von 1600, aber seine Fähigkeit, die zukünftigen Innovationen jeder Epoche vorherzusagen, könnte ähnlich schwach sein
  • Gute wissenschaftliche Ideen wirken nach den Maßstäben ihrer Zeit oft unvernünftig oder dumm und werden anfangs eher abgelehnt oder ignoriert
  • Das Säckchen folgt im Durchschnitt den Ideen von gestern; neue und seltsame Gedanken hineinzubringen, verschlechtert oft sogar die Qualität
  • Deshalb braucht innovative Forschung nicht nur Intelligenz, sondern auch eine passende „Dummheit“, und in dieser Hinsicht werden Menschen auf absehbare Zeit nützlicher darin sein, dümmer zu sein als das Säckchen

CLAUDE WILL U GO TO PROM WITH ME? – Vom Statusspiel zum Werkzeug

• Der wichtigste Vorteil der Metapher vom „Wortesäckchen“ ist, dass sie verhindert, AI als Spieler in einem sozialen Statusspiel zu sehen
  • Menschen sind evolutionsgeschichtlich eine Spezies, die extrem empfindlich dafür ist, wer oben und wer unten steht, und sie kann selbst Käserollen, Unkrautessen, Handywerfen, Zehenringen oder Ferret Legging in einen Wettbewerb verwandeln
• Wenn man AI wie einen Menschen vermenschlicht, folgen sofort Fragen über „das neue Kind in der Klasse“
  • Frames wie „Ist es cool?“, „Ist es klüger als ich?“, „Mag es mich?“, „Steht es über oder unter uns?“ heften sich ganz natürlich daran
  • Je besser das Modell wird, desto stärker wächst die Angst in Richtung „Ist es besser oder schlechter als wir, und wird es Herr, Rivale oder Sklave?“
• Aber ein Wortesäckchen ist kein Ehepartner, Weiser, Herrscher oder Sklave, sondern ein Werkzeug
  • Sein Zweck ist, unsere Routinearbeit zu automatisieren und unsere Fähigkeiten zu verstärken, nicht mit Menschen um Status zu konkurrieren
  • Die wichtige Frage ist nicht „Ist AI besser als wir?“, sondern „Sind wir besser, wenn wir AI benutzen?“
• Der Autor hat keine große Angst davor, durch ein Wortesäckchen ersetzt zu werden
  • Eine Pitching-Maschine wirft schnellere Bälle, eine Rechtschreibprüfung schreibt korrekter, und Auto-Tune trifft die Töne präziser – trotzdem gehen Menschen weiterhin zu Baseballspielen, Buchstabierwettbewerben und Konzerten
  • Der Grund ist, dass es nicht um Ballgeschwindigkeit, Rechtschreibgenauigkeit oder perfekte Tonhöhe geht, sondern darum, einen Menschen dabei zu sehen, wie er es tut
• Deshalb ist es, einen Aufsatz mit AI zu schreiben, als würde man einen Gabelstapler mit ins Fitnessstudio bringen
  • Der Gabelstapler kann die Hantel zwar anheben, aber das Ziel ist nicht bloß, einen Gegenstand vom Boden hochzubekommen, sondern jemand zu werden, der ihn selbst heben kann
  • Beim Schreiben ist es genauso: Es ist eine Handlung, durch die man zu jemandem wird, der denken kann
• Gleichzeitig ist AI keineswegs völlig harmlos
  • Es gibt schon viele Werkzeuge, die gefährlich werden, wenn man sie schlecht einsetzt, und Nagelpistolen oder Kernreaktoren können auch ohne Bewusstsein tödlich genug sein
  • Die Gefahr von Menschen bewegt sich in bekannten Bahnen wie Gewalt, Trunkenheitsfahrten oder Betrug; die Gefahr des Wortesäckchens liegt dagegen darin, dass sie aus unerwarteten Mustern hervorspringt
  • Wenn man Menschen ein verwundbares Stück Code zeigt, beginnen die meisten nicht plötzlich, Hitler zu loben; bei LLMs gab es solche Ausgaben aber schon, und es ist beunruhigend, tödliche Dinge wie Nuklearcode in das Säckchen zu legen

C’MON BERTIE – Ein neues Raster gegen Vermenschlichung

• So wie man einem alten Auto gern einen Namen gibt und sagt „Bertie, bitte spring doch an“, projizieren wir leicht Temperament und Gefühle auf Dinge
  • Aber ein Auto ist ein Haufen aus Metall und Plastik, der Benzin in kinetische Energie umwandelt, und kein Knochen-und-Fleisch-Wesen, das Twinkies in Gedanken verwandelt
  • Um ein kaputtes Auto zu reparieren, braucht man kein Therapiemanual, sondern Schraubenschlüssel, Schraubendreher und ein Werkstatthandbuch
• Genauso sind Menschen, die im Wortesäckchen einen „Geist“ sehen, in eine von der Evolution gestellte Falle geraten
  • Historisch war alles, was „wie ein Mensch sprach und wie ein Mensch ging“, tatsächlich immer ein Mensch; sobald diese Bedingungen erfüllt waren, sprang automatisch die soziale Schaltung an
  • Heute kann etwas, das wie ein Mensch spricht und sich bewegt, auch hochkomplexe logistische Regression (oder etwas Ähnliches) sein, und trotzdem feuert dieselbe Schaltung fehl
• So wie Motten darauf evolviert sind, sich am Mondlicht zu orientieren, und dann von Insektenkillerlampen angezogen und gegrillt werden, könnte es Menschen ähnlich ergehen
• Im Unterschied zur Motte haben Menschen aber die Fähigkeit zu wählen, in welchem Raster sie Technologie betrachten
  • Wir nennen einen Bagger nicht „künstlichen Grabemenschen“ und einen Kran nicht „künstlichen großen Menschen“
  • Auch für Bücher, Fotos und Tonaufnahmen haben wir bereits einmal ein Raster geschaffen, in dem sie nicht als „künstliches Gespräch“, „künstliche Erinnerung“ oder „künstliche Aufführung“, sondern als eigene Medien gesehen werden
• Frühere Taschenrechner waren, zumindest bei Rechenaufgaben, bereits klüger als jeder Mensch auf der Erde, und trotzdem kam niemand auf die Idee, sie für Menschen zu halten
• Wenn man einen Bagger allerdings mit Haut überziehen, seine Schaufel wie eine Hand formen und ihn beim Heben schwerer Dinge „uuaaah…“ stöhnen lassen würde, dann würden wir anfangen, uns einen Geist darin vorzustellen
  • Das zeigt nicht, was ein Bagger ist, sondern wie unsere psychologische Struktur beschaffen ist

Die Erbsünde des Begriffs „künstliche Intelligenz“

• Der Ausgangspunkt all dieser Verwirrung ist der Name „künstliche Intelligenz (artificial intelligence)“
  • Diese Wortkombination zieht die Bewertung maschineller Fähigkeiten sofort in den Vergleich mit Menschen hinein
  • Vergleiche wie „jetzt so klug wie ein Undergraduate“ oder „jetzt so klug wie ein Doktorand“ erzeugen nur eine Verständnistäuschung, erklären aber weder Fähigkeiten noch Grenzen wirklich
• Auch die Definition von Intelligenz selbst ist problematisch
  • Definitionen wie „die Fähigkeit, Probleme zu lösen“ sind falsch oder kommen einer zirkulären Definition nahe wie „die Fähigkeit, Dinge zu tun, für die Intelligenz nötig ist“
  • Noch bevor die Psychologie Intelligenz sauber definieren konnte, hat die Informatik bereits etwas gebaut, das von außen wie Intelligenz aussieht
• Inzwischen ist es zu spät, den Namen zurückzudrehen, und es gibt auch zu viele Wörter im Wortesäckchen, um sie wieder hineinzustopfen
  • Am Ende können wir nur noch die Metaphern und Raster ändern, mit denen wir auf diese Technologie blicken, und unser Denken in eine Richtung verschieben, die Nicht-Menschen nicht in menschliche Formen presst