Sichere Halluzination: Angeborene Grenzen großer Sprachmodelle

Grundlegende Grenzen großer Sprachmodelle: Halluzinationen sind unvermeidlich

• Das Phänomen der Halluzinationen in großen Sprachmodellen (LLMs) ist ein weithin bekannter schwerwiegender Nachteil.
• Viele Studien haben versucht, das Ausmaß von Halluzinationen zu verringern, doch die meisten bleiben bei empirischen Methoden und beantworten nicht die grundlegende Frage, ob sich Halluzinationen vollständig beseitigen lassen.
• Diese Arbeit formalisiert das Problem und zeigt, dass es unmöglich ist, Halluzinationen in LLMs zu eliminieren.

Definition von Halluzinationen in einer formalen Welt

• Es wird eine formale Welt definiert, in der Halluzinationen als Nichtübereinstimmung zwischen einem berechenbaren LLM und einer berechenbaren Referenz-Wahrheitsfunktion definiert werden.
• Unter Nutzung von Ergebnissen aus der Lerntheorie wird gezeigt, dass LLMs nicht alle berechenbaren Funktionen lernen können und daher immer Halluzinationen erleben werden.

Unvermeidbarkeit von Halluzinationen in der realen Welt

• Da die formale Welt nur ein Teil der wesentlich komplexeren realen Welt ist, sind Halluzinationen auch bei LLMs in der realen Welt unvermeidlich.
• Für reale LLMs, die durch nachweisbare Zeitkomplexität eingeschränkt sind, werden Aufgaben beschrieben, bei denen Halluzinationen leicht auftreten, und dies wird empirisch überprüft.

Mechanismen zur Minderung von Halluzinationen und praktische Implikationen

• Mithilfe des Frameworks der formalen Welt werden die Möglichkeiten und die Wirksamkeit bestehender Mechanismen zur Minderung von Halluzinationen diskutiert.
• Außerdem werden praktische Implikationen für den sicheren Einsatz von LLMs erörtert.

Meinung von GN⁺

• Diese Forschung liefert ein grundlegendes Verständnis des Halluzinationsphänomens als Kernproblem großer Sprachmodelle.
• Der theoretische Beweis, dass Halluzinationen unvermeidlich sind, könnte neue Richtungen für das Design und die Verbesserung von LLMs aufzeigen.
• Sie kann einen wichtigen Beitrag zur Diskussion über den Aufbau sicherer und vertrauenswürdiger KI-Systeme leisten und könnte damit einen bedeutenden Meilenstein für den technologischen Fortschritt darstellen.

[GN⁺]

Hacker-News-Kommentare

• Zusammenfassung des ersten Kommentars:

  • Die Kernthese des Papers ist, dass LLMs (große Sprachmodelle) fiktive Antworten auf NP-vollständige Probleme erzeugen werden, weil P ≠ NP.
  • Das wirft interessante philosophische Fragen zu Mathematik, Informatik und Sprache auf, verwendet aber ein formales Konzept, das sich von der üblichen Vorstellung von „LLM-Halluzinationen“ unterscheidet.
  • Ebenfalls interessant ist die Behauptung, dass die formale Welt eine Teilmenge der Welt der natürlichen Sprache ist. Menschen können keine NP-vollständigen Probleme lösen, zeigen aber in natürlicher Sprache ein hohes Maß an Kompetenz.

• Zusammenfassung des zweiten Kommentars:

  • Ich habe nur das Abstract gelesen, bin aber skeptisch, ob dieser formale Ansatz bei dem praktischen Problem hilft, die Häufigkeit zu erhöhen, mit der LLMs mit „Ich weiß es nicht“ antworten.
  • Das ähnelt dem Unvollständigkeitssatz: LLMs müssen nicht alles wissen, aber das Problem, dass sie „Ich weiß es nicht“ sagen, ist wichtig.

• Zusammenfassung des dritten Kommentars:

  • Man muss Fragen an ein LLM sehr sorgfältig formulieren, damit es nichts Erdachtes erfindet.
  • Solche AIs sind wie Jasager: Sie wollen einen zufriedenstellen, unabhängig davon, ob etwas wahr ist oder nicht.
  • Mit solchen Leuten ist es sehr schwer zu arbeiten. Man muss immer prüfen, ob sie ein zugesagtes Projekt wirklich umsetzen werden und ob es überhaupt machbar ist.

• Zusammenfassung des vierten Kommentars:

  • Das Schreiben von Romanen und Geschichten ist eine Form von Halluzination.
  • AI erreicht die beiden Extreme einer logischen Maschine und einer halluzinierenden Maschine.
  • Das Ziel ist, eine Maschine zu bauen, die beides gleichzeitig leisten und unterscheiden kann.
  • Halluzinationen sind wichtig, aber entscheidend ist, dass der Computer erkennt, wenn er halluziniert.

• Zusammenfassung des fünften Kommentars:

  • Wenn Kreativität gut ist, nennt man es „Kreativität“, und wenn sie schlecht ist, nennt man es „Halluzination“.
  • Das ist kein Bug oder keine Einschränkung, sondern ein Feature.

• Zusammenfassung des sechsten Kommentars:

  • Der Begriff „Halluzination“ ist ungeeignet, weil er bedeutet, Dinge wahrzunehmen, die in der Realität nicht existieren, und damit das Phänomen schlecht beschreibt, Formulierungen zu erzeugen, die nicht gut auf die Realität abgebildet werden.

• Zusammenfassung des siebten Kommentars:

  • Die Überbewertung von AI geht jetzt in eine „realistische Phase“ über.
  • In letzter Zeit sieht man keine enthusiastischen Posts über das Alignment-Problem mehr.

• Zusammenfassung des achten Kommentars:

  • LLMs werden als probabilistische Modelle von Zeichenketten definiert, und das ist eine so weite Definition, dass sie auch menschliche Intelligenz einschließt.
  • Daher könnten ihre Erkenntnisse genauso auf Menschen anwendbar sein.

• Zusammenfassung des neunten Kommentars:

  • Halluzinationen werden als Nichtübereinstimmung zwischen einem berechenbaren LLM und einer berechenbaren Ground-Truth-Funktion definiert.
  • Das ist letztlich einfach Unrichtigkeit oder Erfindung.
  • Der Begriff Halluzination kommt der Vorstellung entgegen, dass diese Programme intelligent seien.

• Zusammenfassung des zehnten Kommentars:

  • Halluzinationen werden als Nichtübereinstimmung zwischen einem berechenbaren LLM und einer berechenbaren Ground-Truth-Funktion definiert.
  • Mit dieser Definition lässt sich die Aussage im Titel, dass „Halluzinationen unvermeidlich sind“, leicht widerlegen.
  • Man fixiert die Länge des Eingabekontexts auf ein Byte und trainiert das LLM so, dass es nur auf „A“ mit „Ja“ antwortet.
  • Die Ground-Truth-Funktion wird so definiert, dass die korrekte Ausgabe für die Eingabe „A“ „Ja“ und für alle anderen Eingaben „Nein“ ist.
  • Dieses LLM halluziniert niemals, weil vollständig verifiziert wurde, dass seine Ausgabe für alle möglichen Eingaben mit der Ground-Truth-Funktion übereinstimmt.
  • Man kann die Größe des Eingabekontexts und die Zahl der Einträge in der Ground-Truth-Tabelle erhöhen, und in keinem Stadium werden Halluzinationen „unvermeidlich“.