LLMs sind Steroide für Ihren Dunning-Kruger-Effekt

 (bytesauna.com)
4 Punkte von GN⁺ 2025-11-11 | 2 Kommentare | Auf WhatsApp teilen
  • Gespräche mit Large Language Models (LLMs) verstärken die Illusion von Gewissheit, durch die Nutzer das Gefühl bekommen, mehr zu wissen, als sie tatsächlich wissen
  • Nach einer Unterhaltung bleiben Nutzer oft in einem Zustand falscher Sicherheit bei Fehlinformationen zurück; das hat eine psychologisch süchtig machende Wirkung, die wiederholte Nutzung fördert
  • LLMs erweitern Ideen und verstärken das Denken, können aber zugleich als Werkzeug zur Verstärkung von Selbsttäuschung wirken
  • Technisch beruhen sie auf einer vergleichsweise einfachen Struktur aus statistischer Inferenz und dem Einsatz massiver Trainingsressourcen, ihr gesellschaftlicher Einfluss ist jedoch enorm
  • Solche Modelle sollte man nicht als Wissensmaschinen, sondern als „Gewissheitsmaschinen“ verstehen; sie bewirken grundlegende Veränderungen in der Art, wie Menschen denken und Sprache verwenden

Die Illusion von Gewissheit und die psychologische Wirkung von LLMs

  • Mit einem Zitat aus Bertrand Russells „The Triumph of Stupidity“ wird der Gegensatz zwischen unwissender Gewissheit und intellektuellem Zweifel angesprochen
    • Russell formulierte es so: „Das Problem mit der Welt ist, dass die Dummen voller Gewissheit sind, während die Weisen voller Zweifel sind.“
  • In Gesprächen mit LLMs zeigen Nutzer die Tendenz, selbst bei falschen Informationen überzeugt zu sein
    • Wenn ChatGPT auf eine Idee mit „gute Idee“ reagiert, ist das in Wirklichkeit oft nicht der Fall
  • Der Autor erlebt nach Interaktionen mit LLMs häufig die Illusion, mehr Wissen erworben zu haben
    • Obwohl er erkennt, dass Informationen falsch sind, greift er wegen des angenehmen Gefühls von Gewissheit immer wieder darauf zurück
  • Diese Erfahrung hat einen psychologisch süchtig machenden Charakter, sodass Nutzer bei der Weiterentwicklung von Ideen zunehmend von LLMs abhängig werden
    • Selbst in Alltagssituationen entsteht der Impuls, ein LLM zu fragen („Als ich meine Tasche verlor, dachte ich daran, ChatGPT zu fragen“)

Die Doppelnatur von Denkverstärkung und Selbsttäuschung

  • LLMs werden als Spiegel beschrieben, der das Denken verstärkt
    • Sie erweitern die Gedanken der Nutzer in verschiedene Richtungen und führen manchmal zu interessanten Ergebnissen
  • Diese Verstärkung ist jedoch ein zweischneidiges Schwert: Sie kann gute Ideen ausbauen, aber auch falsche Gedanken verstärken
    • LLMs verpacken Fehler in einem flüssigen, autoritativen Tonfall und schaffen so eine psychologische Falle

Technische Struktur und Ungleichgewicht des Interesses

  • Der Autor bewertet LLMs als „langweilige Technologie“
    • Im Kern seien sie eine probabilistische Blackbox, und das Training sei die Wiederholung statistischer Inferenz
  • Zwar gebe es jüngste Innovationen bei Software und Hardware, doch die LLM-spezifische Innovation sei begrenzt
    • Er formuliert es so: „Die eigentliche Innovation besteht vielleicht darin, enorme Geldsummen zu investieren und in großem Maßstab zu trainieren.“
    • RLHF (Reinforcement Learning from Human Feedback) wird als mögliche Ausnahmeinnovation genannt

Auswirkungen des gesellschaftlichen und sprachlichen Wandels

  • Das eigentlich Interessante an LLMs liege weniger in der Technologie selbst als in ihren gesellschaftlichen Auswirkungen
    • Sie werden als Vorzeichen tiefgreifender Veränderungen in Bildung, Arbeit und der Gesellschaft insgesamt bewertet
  • Sprache ist ein Kern menschlicher Identität, und in dem Moment, in dem Maschinen in den Bereich der Sprache eingedrungen sind, hat der Wandel begonnen
    • Das Wesen dieses Wandels ist noch nicht klar, doch es gibt das Gefühl, dass „die Strömung des Wandels in Bewegung geraten ist“

Keine Wissensmaschine, sondern eine Gewissheitsmaschine

  • LLMs sollten nicht als Motor zur Bereitstellung von Wissen, sondern als Motor zur Erzeugung von Gewissheit verstanden werden
    • Dies wird als Konzept vorgestellt, das die kurz- und mittelfristige Zukunft wesentlich erklären kann
  • Da sich menschliches Denken und Sprachgebrauch mit mechanischen Mechanismen der Gewissheitserzeugung verbinden, entstehen neue gesellschaftliche Muster

Verwandte Beiträge

2 Kommentare

 
GN⁺ 2025-11-11
Hacker-News-Kommentare

  • Jedes Mal, wenn ich ein LLM benutze, habe ich eher das Gefühl, dass ich dümmer werde
    Weil es kein Wissen ist, das ich mir selbst erarbeitet habe, sondern eher ein Anlehnen daran, sinkt mein Selbstvertrauen
    Da ich mir angewöhnt habe, wie bei Büchern oder Fachartikeln mehrere Quellen gegenzuprüfen, wirken die Antworten von LLMs auf mich nur wie ein Durchschnittswert

    • Wenn man LLMs zu oft benutzt, fühlt es sich wirklich so an, als würde das Gehirn abschalten. So wie wenn man lange ein repetitives Spiel spielt und benommen wird
    • Früher habe ich in der Schule oft gehört: „Glaub Wikipedia nicht einfach, sondern prüfe die Quellen“
      Heute zitieren Leute Wikipedia fast wie eine absolute Wahrheit. Ich glaube, mit LLMs wird es mit der Zeit genauso werden
    • Unsere Firma betreibt ein Open-Source-Produkt, und wir bekommen viele Anfragen von Leuten, die von einem Chatbot erzeugte Konfigurationen einfach übernommen haben und bei denen es dann nicht funktioniert
      Manche beschweren sich sogar, die API sei down, dabei hat der Chatbot in Wirklichkeit den Endpoint frei erfunden
    • Auch ich erledige dank LLMs meine Arbeit schneller, aber es fühlt sich nicht so an, als wäre es wirklich meine Leistung, deshalb fühlt es sich irgendwie unecht an
      Am Ende nimmt der eigene Antrieb ab, selbst nachzuschlagen und zu experimentieren. Wahrscheinlich können nur disziplinierte Menschen dieses Werkzeug wirklich gut nutzen
    • Selbst wenn eine AI-Antwort nicht falsch ist, haftet ihr irgendetwas Schlampiges an. Sie wirkt wenig vertrauenswürdig

  • LLMs sind ein bisschen wie ein Buch von Bill Bryson: plausibel und autoritativ im Ton, aber in Bereichen, die man wirklich kennt, merkt man, dass vieles falsch ist
    Trotzdem setzt man bei der nächsten Frage wieder Hoffnung hinein

    • Ich nutze LLMs eher als Ausgangspunkt zum Lernen. Ich erwarte keine perfekte Antwort, aber ich kann neue Begriffe oder Konzepte schnell aufnehmen
      Ich wollte zum Beispiel in einen Miata von 1990 einen Schalter einbauen und habe dank eines LLMs zum ersten Mal die Konzepte Relais und DPDT-Schalter kennengelernt
      Der Schaltplan war falsch, aber um die Richtung fürs Lernen zu finden, war es hilfreich
    • Ich finde, der Vergleich ist nicht ganz fair. Gerade bei Themen, die wir gut kennen, stellen wir schwierigere Fragen, daher irren sich LLMs dort natürlich häufiger
      In Bereichen, die wir nicht kennen, sind schon Antworten auf Grundniveau beeindruckend genug
    • Ich habe ChatGPT einmal nach den Motiven einer Romanfigur gefragt, und es gab viele sachliche Fehler
      Für jemanden ohne Vorwissen wirkt das plausibel, aber wenn man Gedanken auf falschen Informationen aufbaut, kommt am Ende nur ein noch stärker verzerrtes Ergebnis heraus
      Den Chat kann man hier ansehen
    • Die Erwähnung von Bill Bryson ist wirklich zu lustig
    • Ich wollte mal ein Buch von Bryson lesen, aber mich würde ein konkretes Beispiel interessieren, was genau daran falsch ist

  • Schon im Studium, wenn ich Vorlesungen gehört habe, hatte ich ein ähnliches Gefühl
    Während der Veranstaltung dachte ich, ich hätte alles verstanden, aber sobald ich selbst Aufgaben lösen musste, merkte ich, wie viel fehlte

    • Die meisten meiner Studierenden in diesem Semester haben ihre Aufgaben anscheinend mit einem LLM gemacht
      Der Code spiegelt den Kontext der Lehrveranstaltung nicht wider und wirft Fehler, und am Ende muss ich genau diese Teile korrigieren
    • Das Problem ist, dass Wiedererkennen (recognition) beim Lernen leicht ist, Abrufen aus dem Gedächtnis (recall) aber schwer
      Wenn man ohne Mühe lernt, fühlt es sich an, als hätte man besser gelernt, aber in Wirklichkeit ist das nicht so
    • Ich mache mir Sorgen, dass Studierende heute genau diese „Mühe“ durch LLMs ersetzen
    • Auch Experten erleben ein ähnliches Problem. Wenn sie etwas für Laien vereinfacht erklären, werden sie oft schnell als Lügner abgestempelt
    • Fehlende Details und selbstbewusst falschliegen sind nicht dasselbe
      Claude sagte zum Beispiel, das Fundament meines Gebäudes sei gefährdet, während der echte Prüfer nur lachte und meinte, es sei überhaupt kein Problem

  • Selbst in Mathe- und Physik-Subreddits tauchen immer wieder Beiträge auf wie „Ich habe zusammen mit ChatGPT eine vereinheitlichte Theorie der Physik entwickelt“
    Solche Leute gab es früher auch schon, aber seit LLMs sind es viel mehr geworden

    • Sogar der frühere Uber-CEO hat sich so verhalten
      Verwandter Artikel: Gizmodo-Link

  • Ein LLM zu lesen ist ein bisschen wie Zeitunglesen
    In unbekannten Bereichen hat man das Gefühl, viel zu lernen, aber in Bereichen, die man kennt, merkt man sofort, dass es Murks ist
    Deshalb frage ich mich, wie falsch es wohl bei Themen liegt, die ich nicht kenne

    • Das ist genau der Gell-Mann-Amnesie-Effekt
      Wikipedia-Erklärung
    • Eigentlich ist heute nicht nur Zeitungen, sondern auch Büchern schwer zu trauen
      Jeder kann etwas veröffentlichen, und inzwischen lassen sich auch Videos leicht manipulieren
      Am Ende ist entscheidend, Quellen auswählen zu können

  • So wie ich Informationen von Menschen mit einem Quellen- und Vertrauensfilter bewerte, mache ich das auch bei ChatGPT
    Nachdem ich eine Antwort gelesen habe, habe ich weniger das Gefühl, „Wissen gewonnen“ zu haben, als vielmehr eine Richtung für weitere Erkundung bekommen zu haben

    • Daraufhin kam die Frage, ob es Fälle gab, in denen dieser „Ausgangspunkt zur Erkundung“ sich tatsächlich zu echtem Wissen entwickelt hat
    • Das erinnert mich an das Konzept „default to null“
      Also die Haltung, bei einem unverständlichen Satz eher anzunehmen: „Nicht ich verstehe es nicht, sondern vielleicht ist der Text bedeutungslos“
    • Das Problem ist, dass das menschliche Gedächtnis Kontext schneller vergisst als Fakten
      Mit der Zeit mischen sich dann auch falsche Informationen in das eigene Weltbild

  • Es gibt viel zu viele Texte, die so tun, als seien sie sich über die Zukunft von LLMs sicher
    Doch wenn man in die Geschichte schaut, gab es viele Fälle, in denen Quantität die Qualität verändert hat
    Schach-Engines, Google-Suche und Wikipedia begannen alle mit einfachen Prinzipien, aber die Größenordnung der Daten brachte die Innovation
    Auch LLMs sind nur einfache Matrixmultiplikation, aber vielleicht kann daraus trotzdem neue Intelligenz entstehen, so wie „Fleisch“ denkt

    • Aber selbst jetzt gibt es noch politische Schlagseiten bei Wikipedia oder die subtile Manipulation, von der xkcd 978 spricht
    • Wer die Geschichte vom „denkenden Fleisch“ nicht kennt, sollte diesen Text lesen
    • Früher glaubte man, Fleisch bringe Fliegen hervor; vielleicht werden wir eines Tages auch erkennen, dass es eine Täuschung ist zu glauben, dass Fleisch Gedanken hervorbringt

  • Der Satz „LLMs sind keine Wissensmaschinen, sondern Zuversichtsmaschinen“ ist mir hängen geblieben
    Wenn man nach einem technischen Problem fragt und die Antwort bekommt „Das ist ein bekanntes Problem“, beruhigt einen das: Dann bin ich nicht dumm, sondern es ist wirklich schwierig
    Zum Beispiel wollte ich in WebStorm den Standard-Tab des Debuggers ändern, und die AI sagte mir, dass das nicht möglich sei, wodurch ich keine Zeit verschwendet habe

    • Aber AI gibt einem auf diese Weise oft auch falsche Gewissheit
      Selbst wenn ich mir ein Problem komplett ausdenke, behauptet sie plausibel, „das ist ein bekanntes Issue“

  • Ich nutze LLMs nicht als Quelle von Autorität, sondern als Spiegel fürs Denken
    Wenn ich meine Gedanken erkläre, entdecke ich dabei oft meine eigene Verwirrung oder logische Schwächen
    Sprache ist von Natur aus unscharf, und LLMs legen diese Unschärfe statistisch offen
    Wenn man ihnen also kritisch begegnet, können sie im Gegenteil sogar ein Werkzeug zur Präzisierung des Denkens sein
    Letztlich ist es wichtig anzuerkennen, dass weder Menschen noch AI perfekt sind, und ihnen mit derselben Skepsis wie Fremden zu begegnen

  • Ich stimme der Aussage zu, dass LLMs nicht Wissen, sondern Selbstvertrauen erzeugen
    Selbst wenn es nicht perfekt ist, kann mit Überzeugung zu handeln manchmal zu besseren Ergebnissen führen
    Gerade für übervorsichtige Menschen kann Selbstvertrauen selbst der Kern von Produktivität sein

    • Aber Selbstvertrauen ist auch eine soziale Waffe
      Unbegründete Gewissheit schafft Vertrauen bei anderen, und wenn sich das wiederholt, lernt man am Ende Bescheidenheit und Zögern
      Eine wissenschaftliche Haltung kann aus diesem Grund oft auch selbstbeschränkend werden