Das dauerhafte Halluzinationsproblem von LLMs: eine Realität, die wir akzeptieren müssen
(arxiv.org)- LLM-Halluzinationen sind keine Fehler in Einzelfällen, sondern eine wesentliche Eigenschaft des Systems; je breiter ihr Einsatzbereich wird, desto stärker müssen Entscheidungen diese Grenze voraussetzen
- Halluzinationen entstehen aus mathematischen und logischen Strukturen, weshalb sie sich allein durch bessere Architekturen, Datensätze oder Fact-Checking kaum vollständig beseitigen lassen
- Die Analyse stützt sich auf die Berechnungstheorie und Gödels ersten Unvollständigkeitssatz und verweist auf unentscheidbare Probleme wie das Halting Problem, Emptiness Problem und Acceptance Problem
- In jeder Phase — Zusammenstellung der Trainingsdaten, Faktensuche, Intent-Klassifikation und Textgenerierung — bleibt eine von null verschiedene Wahrscheinlichkeit, Halluzinationen zu erzeugen
- „Structural Hallucinations“ versteht Halluzinationen als eine in LLMs angelegte strukturelle Eigenschaft und stellt die verbreitete Annahme infrage, sie ließen sich vollständig mitigieren
Strukturelle Grenzen von LLM-Halluzinationen
- Je breiter LLMs in verschiedenen Domänen eingesetzt werden, desto kritischer müssen die inhärenten Grenzen der Modelle geprüft werden
- Halluzinationen sind keine zufälligen Fehler, sondern eher ein unvermeidliches Merkmal von LLM-Systemen
- Aus dieser Perspektive lassen sich Halluzinationen nicht allein durch bessere Modelle, größere Datensätze oder externe Verifikationstools beseitigen
Warum sie schwer vollständig zu entfernen sind
- Halluzinationen entstehen aus der mathematischen und logischen Struktur von LLMs
- Verbesserungen an der Architektur, bessere Datensätze und Fact-Checking-Mechanismen reichen allein kaum aus, um Halluzinationen vollständig zu beseitigen
- Die Analyse nutzt die Berechnungstheorie und Gödels ersten Unvollständigkeitssatz
- Als relevante unentscheidbare Probleme werden das Halting Problem, das Emptiness Problem und das Acceptance Problem genannt
In jeder Verarbeitungsphase bleibt Halluzinationspotenzial
- In jeder Phase des LLM-Prozesses gibt es eine von null verschiedene Wahrscheinlichkeit, Halluzinationen zu erzeugen
- Zusammenstellung der Trainingsdaten
- Faktensuche
- Intent-Klassifikation
- Textgenerierung
- Selbst wenn eine einzelne Phase verbessert wird, verschwindet die Möglichkeit von Halluzinationen im Gesamtsystem nicht
Structural Hallucinations
- „Structural Hallucinations“ bezeichnet das Konzept, Halluzinationen als inhärente Eigenschaft von LLM-Systemen zu betrachten
- Es betont die mathematische Unvermeidbarkeit von Halluzinationen und steht im Widerspruch zur bisherigen Vorstellung, Halluzinationen vollständig mitigieren zu können
- Praktisch bedeutet das, LLM-Halluzinationen nicht als etwas zu behandeln, das vollständig eliminiert werden kann, sondern als stets vorhandene Einschränkung
1 Kommentare
Hacker-News-Meinungen
Wäre das Konzept „beim stochastischen Erzeugen von Text falsche Informationen zu produzieren“ nicht hallucination genannt worden, hätte man Missverständnisse wohl vermeiden können
Das Wort klingt, als sei im normalen Betrieb des Modells etwas schiefgelaufen, tatsächlich besteht der normale Betrieb des Modells aber darin, plausiblen Text zu erzeugen
„Halluzination“ ist kein Defekt des Modells, sondern ein Werturteil, das wir über den Ausgabetext fällen, und bedeutet nur, dass dieser Text nicht zum Zweck passt
Aus dieser Perspektive sind die Minderung von Halluzinationen und Alignment praktisch dasselbe Problem, daher ist es schwierig, nur eines davon separat zu lösen
Nimmt man das Wort „Halluzination“ wörtlich, halluziniert das Modell immer; nur wenn es zufällig objektiv wahre Inhalte erzeugt, nennen wir es nicht so
Wenn das Paper dieses Definitionsproblem sinnvoll aufbereitet hat, könnte das ein guter Beitrag sein
Er lässt das Problem wie einen vorübergehenden „Bug“ wirken statt wie eine grundsätzliche Grenze der Technik, und kann Investoren und Käufern die tatsächliche Natur verschleiern
Menschen erfinden auch ständig Dinge, und zwar viel Absurderes als KI; man müsste also auch fragen, ob Menschen wirklich intelligent sind /nicht ganz als Scherz gemeint
Halluzinationen wirken auf mich eher wie das Ergebnis, wenn man auf eine Frage die erste mögliche Antwort, die einem einfällt, einfach ausspricht
Menschen tun das normalerweise nicht. Sie erinnern sich an Fehler bei ähnlichen Fragen in der Vergangenheit, gleichen die Antwort vor dem Sprechen mit anderem Wissen ab und führen intern eine Plausibilitätsprüfung durch
Daher sollte man einem LLM Raum zur Reflexion geben, statt zu erwarten, dass es sofort die richtige Antwort erzeugt
Auch menschliches Denken liefert oft Antworten erst nach interner Diskussion und Kompromissen zwischen verschiedenen Rollen und Personas; erst nachdem ein erster „Entwurf“ entstanden ist, kann man zusätzlichen Kontext imaginieren, etwa die Folgen, wenn man diese Antwort äußert
Deshalb könnte es der falsche Ansatz sein, die Intelligenz eines LLM nur anhand seiner ersten „Bauchreaktion“ auf einen Prompt zu bewerten
Sich eine Geschichte auszudenken erfordert eher Anstrengung, und ohne Training sind die meisten nicht besonders gut darin. Es gibt Menschen, denen das natürlich zufällt, aber normalerweise gilt das als Störung
LLMs haben kein Konzept von „ich weiß es nicht“; sie schreiben nur das, was am besten zu den Trainingsdaten passt. Da es in den Trainingsdaten nicht besonders viel „ich weiß es nicht“ gibt, ist das auch keine natürliche Antwort
Ich fragte nach einer Liste von Bars in einer kleinen Stadt, und es erfand plausibel klingend alles: Namen, Adressen und Telefonnummern. Wenn man einen normalen Menschen, der diese Stadt nicht gut kennt, zwingt, ohne „ich weiß es nicht“ plausibel zu antworten, kann er am Ende sicher eine Antwort erfinden, aber sein erster Gedanke wäre das ganz sicher nicht
LLMs haben keine Intuition und erleben keine Zeit. Sie sind kein nervöses Kind, das kurz vor Ende der Prüfungszeit irgendetwas ankreuzt, sondern das Produkt einer Softwareentwicklung, die eine mehr als ein halbes Jahrhundert alte Tradition, Computer dazu zu bringen, korrekte Antworten zu liefern, zugunsten von Vibes aufgegeben hat
Bereiche für Wahrnehmung und Schlussfolgern interagieren mit Bereichen, die Erinnerungen verarbeiten, und unterschiedliche Gedächtnistypen handeln Kompromisse aus. Erinnerungen, die Sinn ergeben, können stärker werden als etwas, das man nur zufällig gesehen hat
LLMs scheinen so etwas nicht zu tun und sind konstruktionsbedingt bei der Minderung von Halluzinationen schwächer als das Gehirn
Ein Ansatz für hirninspirierte Forschung wäre wohl, sich anzusehen, welche Teile des Gehirns bei Menschen mit Halluzinationen auffällig sind und welche Funktionsmodelle es dafür gibt, und zu prüfen, ob sich das auf LLMs übertragen lässt
Ideen, Modelle von Strukturen wie dem Hippocampus auf neuronale Netze anzuwenden, werden bereits von mehreren Forschern verfolgt
Ich denke, die aktuelle Architektur ist grundsätzlich voller Halluzinationen und wird den praktischen Einsatz, insbesondere die von überzogenen Erwartungen beschriebenen Anwendungen, stark einschränken
Allerdings setzt dieser Artikel die Messlatte für „halluziniert nicht“ unmöglich hoch
Er wiederholt im Grunde die bekannten fundamentalen Grenzen formaler Systeme und mechanischer Berechnung und zieht dann die naheliegende Schlussfolgerung, dass auch LLMs diese Grenzen teilen
Solange man nicht Dualismus oder spekulative Quanten-Hyperberechnung heranzieht, gelten diese Grenzen in sehr hohem Maße auch für Menschen
Die interessanten Eigenschaften von LLMs entstehen daraus, dass sie Dinge erfinden und sie trotzdem plausibel machen können
Er sah Materie und Geist beide als real, aber nicht als dualistisch getrennt; zwischen ihnen gebe es einen glatten, kontinuierlichen Übergang
Unabhängig davon, was die Natur von Geist und Materie ist, gibt es jedoch überzeugende Belege dafür, dass Menschen durch den Prozess, den Peirce Semiose (semiosis) nannte, Bedeutungen in Symbolen erzeugen
Wir haben noch keine Semiotik, die das richtig formalisiert, und in diesem Bereich gibt es viel interessante mathematische angewandte Philosophie, aber auch viel akademischen Unsinn
Solange wir das nicht schaffen, ist es schwierig, Automaten zu bauen, die Semiose leisten, und vorerst bleibt ein qualitativer Unterschied zwischen menschlichen Fähigkeiten und den Fähigkeiten von LLMs
Ich kann nicht behaupten, alle Modelle ausprobiert zu haben, aber die meisten scheitern sehr schnell an Aufforderungen wie „Erkläre einen Prozess, bei dem drei Entitäten miteinander interagieren“
Zwei schaffen sie normalerweise, aber am Ende drehen sie sich im Kreis oder beginnen bei vielen Modellen ganze Absätze zu wiederholen, und drei scheinen sie völlig zu überfordern
LLMs könnten vielleicht in Bereichen eine Rolle spielen, in denen man Geld verbrennt, um etwas zu erzeugen, das „meistens falsch ist, aber billig zu verifizieren, sodass man vielleicht eine gute Idee herausziehen kann“
Unvollständige Trainingsdaten zu messen, scheint wenig sinnvoll zu sein
Geht es beim Lernen nicht von Anfang an darum, mit unvollständigen Daten umzugehen? Wenn die Daten vollständig wären, bräuchte man kein Machine Learning, sondern könnte einfach eine Funktion bauen, die Eingaben auf Ausgaben abbildet
Machine Learning füllt Lücken durch Vorhersagen, und gewöhnliches Lernen funktioniert genauso
Daher gilt das, worauf diese Theorie abzielt, auch für menschliche Intelligenz und menschliches Lernen
Man kann sagen, dass LLMs ständig halluzinieren, aber Menschen halluzinieren ebenfalls ständig
Das eigentliche Problem, das wir lösen müssen, ist, LLMs dazu zu bringen, wie Menschen zu halluzinieren
Machine Learning wurde entwickelt, um Probleme zu lösen, und unterschied sich von klassischer KI dadurch, dass es mit vielen Daten eine Funktion ableiten konnte, statt Algorithmen direkt zu konstruieren
Die heutige Form von „Intelligenz“ im Machine Learning unterscheidet sich jedoch vom menschlichen Denken. Menschen brauchen keine Millionen Beispiele, um eine Katze zu kennen; sie können sie auch nach zwei oder drei Beispielen später weiter identifizieren
Schon nach dem Anblick einer einzigen schwarzen Katze kann man andere Hauskatzen korrekt als Katzen erkennen, und bei Kindern sieht man, dass es tatsächlich so ist
Intelligenz ist die Fähigkeit, ohne Vorwissen auf eine Lösung zu kommen, und je intelligenter ein Wesen ist, desto weniger Daten braucht es. Je näher man einem intelligenteren System kommt, desto weniger Daten sollte es für Wirkung benötigen, nicht mehr
Im Allgemeinen sind Modelle bei Ersterem deutlich besser und haben bei Letzterem große Probleme
Die heutige Art, wie LLMs halluzinieren, scheint eng damit zusammenzuhängen, wie sie Wissen repräsentieren
Wenn man sich die Kostenfunktion ansieht, gibt es einen Grund, warum man sie Log-Likelihood nennt. Das eigentliche Ziel ist nicht eine Antwort, die mit den Konzepten eines robusten Modells der Realität konsistent ist, sondern die Erzeugung einer plausiblen Tokenfolge im abstraktesten Sinn
Selbst wenn das Modell halluziniert, tut es gewissermaßen ziemlich gut, wofür wir es trainiert haben: Es versucht, wahrscheinlichen Text zu erzeugen, und fällt implizit auf allgemeinere Muster in den Trainingsdaten zurück, etwa Grammatik und einfache Wortwahl
Ich kann mir vorstellen, dass sich das Halluzinationsproblem mit geeigneten Architekturänderungen vollständig oder nahezu vollständig lösen ließe
Ob man mit solchen Änderungen aber weiterhin ein effizient trainierbares Modell bauen kann, scheint noch eine offene Frage zu sein
Die bessere Frage ist dennoch, ob man eine ausreichend gute Leistung erreichen kann
Um LLMs effektiv zu nutzen, muss man grundsätzlich lernen, mit einer unzuverlässigen und nichtdeterministischen Technologie umzugehen
Viele Menschen scheinen diese Hürde kaum überwinden zu können
Wenn man etwas vertraut, muss man weniger ein mentales Modell dafür entwickeln, auf welche Weise es einen täuschen kann und wie man darauf reagieren sollte, was die kognitive Belastung senkt
Deshalb sind LLMs zumindest für mich nützlich, aber sehr stressig
Vielleicht ist es jetzt an der Zeit, dass die Blase platzt
Noch vorher müssen wir es definieren, aber realistisch gesehen weiß niemand, was AGI eigentlich ist. Deshalb kann es alles Mögliche sein
Dass Sam selbst nach GPT-3.5, ChatGPT, multimodalem GPT-4 und o1 (Strawberry) nicht glaubt, dass AGI erreicht wurde, scheint darauf hinauszulaufen, dass AGI am Ende die Kreativität und Arbeit von Milliarden Menschen vereinnahmt, Hunderte Milliarden Dollar einwirbt und alle in ein UBI-basiertes System bringt, während Insider reich werden
Halluzinationen wirken wie ein Vorwand, um sagen zu können, AGI sei noch nicht erreicht. So lässt sich weiter mehr Geld für Trainings- und Inferenzenergiekosten von Modellen einsammeln, die weiter halluzinieren werden
Erst nachdem OpenAI den gesamten Wert abgeschöpft und die Insider Kasse gemacht haben, wird man einen Blasencrash wollen, bei dem 95 % der AI-Startups verschwinden. OpenAI bleibt dann die Ausnahme
Deshalb sieht Terence Tao LLMs ungefähr auf dem Niveau eines durchschnittlichen Doktoranden und weiter besser werdend, während du nur darauf wartest, dass sie sterben
Man muss nicht „damit leben“
Man kann sie einfach nicht benutzen, sie ignorieren und sich ihrer Verbreitung und Akzeptanz widersetzen. Ich werde das weiter so halten
Aber das globale „Wir“ wird dieser Forderung mit ziemlicher Sicherheit nicht folgen
LLMs werden den Weg der Expertensysteme gehen
Später wird man sich wohl fragen, warum wir dachten, dass das möglich sei
Ich würde empfehlen, sich nicht in die enge Identität eines KI-Experten einzusperren. Draußen wird es bald ziemlich kalt werden
Ich stimme nicht zu — https://arxiv.org/abs/2406.17642
Die verwandte Forschung behandelt das Halteproblem und rechnerisch schwer lösbare Probleme
Natürlich können LLMs auf rechnerisch schwer lösbare Probleme keine Antwort geben
Ich weiß auch nicht, warum man es als Halluzination bezeichnen sollte, wenn auf eine Frage zum Halteproblem geantwortet wird: „Das ist nicht berechenbar“