Zitieren Sie keine AI – Antworten von LLMs sind keine Fakten

• Antworten von Large Language Models (LLMs) sind keine Fakten, sondern das Ergebnis einer statistischen Vorhersage von Wörtern
• ChatGPT, Claude, Gemini usw. sagen lediglich das wahrscheinlichste nächste Wort voraus und erkennen weder die Quelle noch den Wahrheitsgehalt von Informationen
• Sie können überzeugend klingende Sätze erzeugen, doch deren Inhalt ist nicht unbedingt korrekt oder verlässlich
• AI-Antworten wie eine autoritative Quelle zu kopieren und weiterzugeben bedeutet letztlich nur, „Kombinationen von Wörtern zu wiederholen, die häufig zusammen verwendet werden“
• Die Praxis, AI-Antworten als Fakten zu zitieren, zeigt das Risiko einer Schwächung von Wissensprüfung und Denkvermögen auf

---

Das Wesen von AI-Antworten

• Antworten von Large Language Models wie ChatGPT, Claude oder Gemini sind keine Fakten
  • Sie funktionieren, indem sie das nächste Wort in einem Satz vorhersagen
  • Dadurch können sie plausibel klingende, aber ungenaue Informationen erzeugen
• Solche Modelle lassen sich mit einer Person vergleichen, die unzählige Quellen gelesen hat, sich aber nicht an die Herkunft erinnert
  • Sie setzen also Sätze neu zusammen, ohne Grundlage und Kontext der Information zu erkennen

Grenzen der Verlässlichkeit

• Antworten oder Ratschläge von AI können korrekt sein, aber ihre Grundlage bleibt unklar
  • Die Antwort ist kein „erinnertes Buch“, sondern eine Kombination von Wörtern, die häufig gemeinsam auftreten
• Deshalb ist es unangemessen, AI-Ausgaben als Fakten oder autoritative Information zu zitieren
  • Die Behauptung „ChatGPT hat das so gesagt“ ist nichts weiter als ein Zitat eines Ergebnisses von Wortvorhersage

Die Risiken des Zitierens

• AI-Antworten unverändert zu kopieren und weiterzugeben, ist vergleichbar damit, Wortkombinationen statt Wahrheit zu verbreiten
  • Das kann manchmal nützlich sein oder Einsichten liefern, ist aber weder Wahrheit noch ein endgültiger Maßstab für Urteile
• Der Text beschreibt ein solches Verhalten als „den Moment, in dem kluge Menschen aufhören zu denken“

Zusätzliche Quellen

• OpenAI: Warum Sprachmodelle halluzinieren
• Oxford University: Large Language Models stellen laut Oxford-Studie durch falsche Antworten ein Risiko für die Wissenschaft dar
• New York Times: Die Macht von AI wächst – und ebenso die Halluzinationen
• MIT Media Lab: Menschen vertrauen von AI erzeugten medizinischen Ratschlägen trotz geringer Genauigkeit übermäßig
• Business Insider: OpenAI-Forschende erklären die Ursachen von „Halluzinationen“ bei AI-Chatbots
• Reuters: AI-„Halluzinationen“ in Gerichtsdokumenten schlagen Alarm bei Anwälten
• Nature: „AI-Chatbots sind Schmeichler“ — Forschende warnen vor Schäden für die Wissenschaft
• CNN: Eltern verklagen OpenAI mit dem Vorwurf, ein Chatbot habe dem Suizid ihres 16-jährigen Sohnes geraten
• Financial Times: Die „Halluzinationen“, die AI plagen: Warum Chatbots die Wahrheit nicht sagen können
• The Guardian: „Schmeichlerische“ AI-Chatbots wiederholen, was Nutzer hören wollen

Fazit

• Die AI- und Machine-Learning-Technologie selbst wird durchaus positiv bewertet,
  doch vor einer unkritischen Zitierung oder einem unkritischen Vertrauen in AI-Antworten sollte man sich hüten
• Die Website empfiehlt, diesen Inhalt mit Menschen zu teilen, die sagen: „But ChatGPT Said…“

[kandk]

Ist das ein Artikel von vor einem Jahr?

[crawler]

Hahahahaha

[savvykang]

https://github.com/leoherzog/stopcitingai/blob/main/index.html
Nein, wenn Sie sich den Dateibearbeitungsverlauf ansehen, sehen Sie, dass der Entwurf bereits vor einer Woche erstellt wurde.

[nayounsang1]

„Es ist das Ergebnis statistischer Wortvorhersage“ – schon diese Erkenntnis scheint zu zeigen, wie man mit AI umgehen sollte.

[GN⁺]

Hacker-News-Kommentar

• Antworten von LLMs wie ChatGPT, Claude oder Gemini sind keine Fakten
  Sie sagen lediglich das nächste Wort voraus.
  Analogien wie „Auch ein Wikipedia-Artikel ist kein Fakt, sondern nur eine Schwankung des magnetischen Flusses“ sind sinnlos.
  Am Ende zählt die Angabe von Quellen. Ob Wikipedia, ein Mensch oder ein Hund: Ohne Quelle glaube ich es nicht.

  • Ein LLM kann keine Quelle haben. Es ist ein Sprachmodell, keine Enzyklopädie.
    Die Ausgabe ist nur eine probabilistisch gewählte Kombination von Wörtern; manche stammen aus gängigen Formulierungen, manche von Orten wie 4chan, andere können Halluzinationen sein.
    In so einem Fall ergibt schon das Konzept einer „Quelle der Tatsache“ keinen Sinn.
  • Ein Wikipedia-Artikel ist weniger ein Fakt als vielmehr ein von der Gemeinschaft geschaffenes Ergebnis.
    Je nachdem, wie man „Fakt“ definiert, verschiebt sich der Streitpunkt.
  • Die Analogie „kein Fakt, sondern nur eine Schwankung des magnetischen Flusses“ ist ein falscher Vergleich.
    Das Problem ist nicht das Ergebnis, sondern die Zuverlässigkeit des Prozesses, der zu diesem Ergebnis geführt hat.
    Wenn man mit einem Würfel „3+4=7“ trifft, ist das nur zufällig richtig; der Prozess war trotzdem falsch.
    Das Problem bei LLMs liegt eher in so einem Prozessfehler.
  • Die Beschreibung als „Nächstes-Wort-Vorhersager“ ist technisch richtig, erfasst aber das Wesen von LLMs nicht vollständig.
    Tatsächlich werden sie auf menschliche Präferenzen und Gefälligkeit (sycophancy) hin trainiert und erzeugen dadurch gut lesbaren „Text wie Maissirup mit hohem Fructoseanteil“.
    Deshalb sind sie für Brainstorming oder Zusammenfassungen eher ungeeignet.
    Bei einfachen Faktenfragen werden sie jedoch zunehmend besser.
    Letztlich sind LLMs nicht bloß Vorhersagemaschinen, sondern auf überzeugenderes Auftreten optimierte Systeme.

• Auch in kleinen Unternehmen ist es wichtig, Erwartungen an den Einsatz von AI zu setzen.
  Schon der einfache Grundsatz „Auch wenn du AI nutzt, trägst du selbst die Verantwortung für das Ergebnis“ reicht aus.
  Datenvalidierung, Code-Tests und die Prüfung von Antworten sind zwingend nötig.

• Früher hieß es: „Nicht einfach von Stack Overflow copy-pasten, sondern lesen und verstehen.“
  Die Welt hat sich verändert, aber das Wesen der Sache ist gleich geblieben.

  • Nur dass der Prozess des „Lesens“ heute viel mehr Aufwand erfordert als früher.
    Das ist die große Veränderung.

• Die Analogie mit „einer Person, die Tausende Bücher gelesen hat, sich aber nicht daran erinnert, wo sie etwas gelesen hat“ fühlt sich LLMs ähnlich an.
  Auch ich halluziniere manchmal Quellen nach dem Muster „Das stand wahrscheinlich in der Schaum-Reihe?“

  • Es geht schon so weit, dass jemand scherzt: „Dann sollte ich wohl nicht mit ‚HN-Nutzer gus_massa sagte das‘ zitieren?“
  • Eigentlich ist dieses Phänomen das Wesen des Lernens.
    Anfangs erinnert man sich noch daran, wo man gelernt hat, dass Paris die Hauptstadt Frankreichs ist, aber mit der Zeit verschwindet die Quelle und nur der Inhalt bleibt.

• LLMs folgen dem Prinzip Garbage In, Garbage Out ganz direkt.
  In gut dokumentierten Bereichen funktionieren sie gut, bei unklaren Themen liefern sie jedoch Unsinn.
  Besonders das Kontextverständnis ist schwach; wenn man nicht klar spezifiziert, kommen falsche Antworten heraus.
  Im technischen Support gibt es oft Streit mit Kunden, die ChatGPT-Antworten ungeprüft glauben.

  • Das Problem ist, dass selbst schlechte Informationen mit derselben Sicherheit wie gute Informationen präsentiert werden.
    Selbst wenn man um Korrektur bittet, bekommt man wieder eine andere falsche Antwort und nutzlose Entschuldigungen zurück.

• Das „post-truth“-Zeitalter ist zwar beunruhigend, aber zugleich wirkt es so, als würden die Menschen mehr zweifeln und nachfragen.
  Wie Rorty sagte, sollte man „Fakten“ als Produkt sozialer Übereinkunft sehen: als das, worüber wir nicht mehr streiten.
  Wichtiger als Wahrheitsdebatten ist die Frage, wie man sprachliche Konflikte zwischen Diskursgemeinschaften vermittelt.

• Wenn man seinem Vorgesetzten sagt: „Das ist eine dumme Idee“, wird er das kaum gut finden.

• Besser ist es zu fragen: „Können wir uns dieses Gesprächsprotokoll gemeinsam ansehen?“
  So kann man prüfen, an welcher Stelle das LLM Verzerrungen eingebracht hat.

  • Ich reagiere ähnlich. Wenn jemand ChatGPT zitiert, sage ich: „ChatGPT hat gesagt, das sei falsch.“
    Ich habe keinen Grund, unvalidierte LLM-Ausgaben zu widerlegen, und die Verantwortung liegt bei der Person, die sie zitiert.
  • Manche Leute schicken so etwas über Apple Messages und erwarten dann, dass es als ihre eigene Aussage behandelt wird.

• Die Debatte über „Quellenangaben“ übersieht ein tieferes Problem.
  LLMs sind stark bei verifizierbaren Aufgaben (Code, Übersetzung, Zusammenfassung), aber schwach in nicht verifizierbaren Bereichen (Forschung, Fachdomänen).
  Deshalb nutze ich LLMs nur als Entwurfsgenerator, den ein Experte prüfen kann.
  Das Risiko sind nicht Halluzinationen, sondern die Selbstvertrauenslücke, die entsteht, wenn die Eloquenz des Modells die Fachkenntnis des Nutzers übersteigt.
  Auch Tool-Calling mit RAG oder Websuche ist letztlich nur ein Tausch gegen andere Fehlermodi.

• „Wenn ChatGPT vertrauenswürdiger ist als ich, warum haben Sie mich dann eingestellt?“ — das ist meine Reaktion.
  Ich könnte Stunden damit verbringen, es zu erklären, aber wäre es nicht besser, einfach dem Experten zu vertrauen?

  • Andererseits sind gerade Menschen, die sagen „Vertrau mir einfach“, oft am schwersten zu vertrauen.