Die ewigen Halluzinationen von LLMs – eine Realität, die wir akzeptieren müssen

LLMs Will Always Hallucinate, and We Need to Live With This

Einleitung

• Da große Sprachmodelle (LLMs) in vielen Bereichen weit verbreitet eingesetzt werden, ist es wichtig, ihre inhärenten Grenzen kritisch zu untersuchen
• Diese Studie argumentiert, dass Halluzinationen von Sprachmodellen nicht bloß einfache Fehler sind, sondern ein unvermeidliches Merkmal solcher Systeme

Das Wesen der Halluzination

• Halluzinationen gehen auf die grundlegende mathematische und logische Struktur von LLMs zurück
• Es ist unmöglich, sie durch Architekturverbesserungen, bessere Datensätze oder Mechanismen zur Faktenprüfung zu beseitigen
• Gestützt auf die Berechenbarkeitstheorie und Gödels ersten Unvollständigkeitssatz wird auf die Unentscheidbarkeit von Problemen wie dem Halteproblem, dem Leerheitsproblem und dem Akzeptanzproblem verwiesen

Halluzinationen in jeder Phase des LLM-Prozesses

• In jeder Phase – vom Sammeln der Trainingsdaten über die Faktensuche und Intent-Klassifizierung bis zur Textgenerierung – besteht die Wahrscheinlichkeit von Halluzinationen
• Das Konzept der strukturellen Halluzination wird eingeführt und als wesentliche Eigenschaft solcher Systeme etabliert

Fazit

• Indem die mathematische Gewissheit von Halluzinationen aufgezeigt wird, stellt die Studie die bisherige Vorstellung infrage, dass sie vollständig gemildert werden könnten

Zusammenfassung von GN⁺

• Diese Studie beweist mathematisch, dass Halluzinationen bei LLMs unvermeidlich sind, und betont, dass sie nicht vollständig beseitigt werden können
• Mithilfe der Berechenbarkeitstheorie und Gödels Unvollständigkeitssatz wird das Wesen von Halluzinationen erklärt
• Es wird gezeigt, dass Halluzinationen in jeder Phase von LLMs auftreten können
• Die Studie legt nahe, dass es wichtig ist, die Grenzen von LLMs zu verstehen und sie zu akzeptieren

[GN⁺]

Hacker-News-Meinungen

• Durch den Nachweis von Halluzinationen mittels mathematischer Gewissheit wird die bisherige Vorstellung infrage gestellt, dass Halluzinationen vollständig gelöst werden können

  • Der Begriff „Halluzination“ vermittelt den Eindruck, dass mit der normalen Funktion des Modells etwas nicht stimmt; mit einer anderen Bezeichnung hätte sich dieses Missverständnis wohl vermeiden lassen
  • Halluzination ist keine Fehlfunktion des Modells, sondern ein Werturteil darüber, dass der erzeugte Text für den Zweck ungeeignet ist
  • Das Reduzieren von Halluzinationen und das Herstellen von „Alignment“ sind dasselbe Problem

• Halluzinationen sind das Ergebnis davon, dass auf eine Frage die erste mögliche Antwort gegeben wird

  • Menschen haben auf die meisten Fragen bereits früher einmal geantwortet und erinnern sich an Fehler, um sie nicht zu wiederholen
  • Menschen denken nach, bevor sie sprechen, und verknüpfen eine erste Reaktion mit anderem Wissen
  • Man sollte nicht erwarten, dass ein LLM sofort die richtige Antwort erzeugt
  • Der menschliche Denkprozess umfasst verschiedene Rollen und Personas
  • Erst nachdem eine erste „Entwurfs“-Antwort entstanden ist, wird zusätzlicher Kontext erzeugt
  • Die Intelligenz auf Basis der ersten „intuitiven Reaktion“ eines LLM zu bewerten, ist ein Fehlurteil

• Die derzeitige Architektur hat Halluzinationen grundsätzlich eingebaut, was ihre praktische Nutzung einschränkt

  • Dieser Artikel zeigt die unmögliche Grenze von „nicht halluzinieren“ auf
  • Er bestätigt die grundlegenden Grenzen formaler Systeme und mechanischer Berechnung erneut
  • Diese Grenze gilt auch für Menschen

• Halluzinationen bei LLMs hängen mit der Art zusammen, wie Wissen dargestellt wird

  • Selbst wenn ein Modell halluziniert, erzeugt es weiterhin wahrscheinlichen Text entsprechend seinem Training
  • Es stützt sich auf allgemeine Muster in den Trainingsdaten, also auf Grammatik und Wortwahl
  • Mit geeigneten Änderungen an der Architektur ließe sich das Halluzinationsproblem lösen
  • Ob solche Änderungen jedoch mit effizientem Modelltraining vereinbar sind, ist unklar

• Unvollständige Trainingsdaten sind nichts, was man messen sollte

  • Unvollständige Daten sind das Wesen des Lernens
  • Wenn es vollständige Daten gäbe, bräuchte man kein Machine Learning; man könnte einfach eine Funktion erstellen, die Eingaben auf Ausgaben abbildet
  • Machine Learning füllt Lücken auf Grundlage von Vorhersagen
  • Dasselbe gilt für menschliche Intelligenz und Lernen
  • LLMs werden immer halluzinieren, aber Menschen halluzinieren ebenfalls immer
  • Das eigentliche Problem besteht darin, LLMs dazu zu bringen, auf menschliche Weise zu halluzinieren

• LLMs werden wie „Expertensysteme“ werden

  • Es wird geraten, sich nicht darauf festzulegen, ein AI-Experte zu sein

• Um effektiv mit LLMs zu arbeiten, braucht man die Fähigkeit, mit einer Technologie umzugehen, die ihrem Wesen nach unzuverlässig und nichtdeterministisch ist

  • Viele Menschen tun sich schwer damit, dieses Hindernis zu überwinden

• Jetzt ist es Zeit, dass die Blase platzt

• Wir müssen LLMs nicht „akzeptieren“

  • Man kann sie nicht benutzen, ignorieren oder sich ihrer Verbreitung und Akzeptanz widersetzen

• Dieses Paper ist schlecht geschrieben, und es besteht wenig Vertrauen, dass eine sinnvolle mathematische Theorie entwickelt wurde

  • Beispiel: Die ersten 10 Seiten sind inhaltslos