KI-Antworten können Fehler enthalten
(os2museum.com)- Die KI-Übersicht der Google-Suche erfindet plausibel wirkende Spezifikationen zu einem nicht existierenden IBM PS/2 Model 280, und die Antwort ändert sich selbst bei derselben Anfrage immer wieder
- Die falsche Antwort beschreibt das Model 280 als ISA-basiertes 286-System und vermischt Details wie Markteinführung 1987, 1 MB RAM, 640 KB RAM, VGA und ein 1,44-MB-Laufwerk
- Einige Antworten behaupteten, das 286-System lasse sich auf 128 MB RAM erweitern; die architektonische Grenze des 286 liegt jedoch bei 16 MB, wodurch sich schon innerhalb der Antwort ein Widerspruch zeigt
- Wiederholt man dieselbe Anfrage mehrfach, erscheint zwar auch die richtige Antwort „Das Model 280 ist kein bestimmtes Modell der PS/2-Serie“, doch ihr Anteil liegt nur bei etwa 10 %
- Je mehr Details eine KI-Suchübersicht enthält, desto überzeugender kann sie für Nichtfachleute wirken; die Warnung „AI responses may include mistakes“ ist daher nicht leichtfertig abzutun
Fallbeispiel: ein nicht existierendes PS/2 Model 280
- Auf der Suche nach einem IBM-PS/2-Server-System aus der Zeit um 1992 wurde der Modellname bei Google eingegeben; die tatsächlich gesuchte Maschine war jedoch ein System mit mehreren 486-Prozessoren und Micro Channel (MCA)
- Die KI-Übersicht in den Suchergebnissen lieferte von Anfang an eine Antwort, die am Ziel vorbeiging
- Sie beschrieb das PS/2 Model 280 wie ein 286-basiertes System
- Sie stellte es so dar, als basiere es auf ISA statt auf Micro Channel
- Auch bei erneuter Ausführung derselben Anfrage änderte sich nur die Formulierung der Antwort; weiterhin wurde das Model 280 als ISA-basiertes 286-System beschrieben
Gefälschte Spezifikationen, die sich bei Wiederholung ändern
- Die KI-Übersicht gab bei jeder Wiederholung der Anfrage unterschiedliche Spezifikationen aus
- Eine Antwort behauptete, das Model 280 habe 1 MB RAM und lasse sich auf 6 MB erweitern
- Eine andere nannte 640 KB als Basisspeicher
- Wiederholt wurde es so beschrieben, als verfüge es über ein 1,44-MB-Laufwerk und VGA-Grafik
- In einem weiteren Versuch wurde das Model 280 als 286-System vorgestellt, das auf 128 MB RAM erweitert werden könne
- Ein 286 hat architektonisch eine Grenze von 16 MB, daher ist diese Beschreibung technisch falsch
- Die KI-Übersicht behauptete außerdem, das Model 280 sei ein wichtiger Fortschritt in IBMs Personal-Computer-Linie gewesen und habe dazu beigetragen, PS/2 als beliebte und zuverlässige Plattform zu etablieren
Der Kernfehler: Das Model 280 gab es nicht
- Das größte Problem ist, dass ein Modell namens PS/2 Model 280 überhaupt nicht existierte
- Obwohl eine falsche Modellnummer eingegeben wurde, erzeugte Google AI eine Erklärung, die auf den ersten Blick plausibel wirkte
- Solche Antworten enthalten viele Details und sind natürlich formuliert, sodass auch sachlich falsche Inhalte leicht wie glaubwürdige Informationen erscheinen können
Richtige Antwort nur gelegentlich
- Wiederholt man dieselbe Anfrage oft genug, erscheint durchaus auch die korrekte Antwort
- „Das Model 280 war kein bestimmtes Modell der PS/2-Serie“
- Die Antwort weist sinngemäß darauf hin, dass die Anfrage selbst fehlerhaft war
- Bei wiederholten Anfragen liegt der Anteil der richtigen Antwort jedoch nur bei etwa 10 %; in den meisten Versuchen erfindet die KI Inhalte
- Halluzinierte Antworten sind nicht nur nutzlos, sondern falsche Antworten können „echter“ wirken als die richtige
Wann KI-Suchübersichten gefährlich werden
- Fachleute können Unstimmigkeiten in der Antwort vergleichsweise schnell erkennen
- So lässt sich etwa in Wikipedias List of IBM PS/2 Models überprüfen, dass es kein Model 280 gibt
- Nichtfachleute profitieren zwar eher von KI-Suchübersichten, haben zugleich aber auch ein höheres Risiko, auf falsche Antworten hereinzufallen
- Ein Rechercheassistent, der jedes Mal eine andere Antwort liefert und nur gelegentlich richtig liegt, ist schwer vertrauenswürdig
- Googles Hinweis „AI responses may include mistakes“ ist keine bloße Vorsichtsfloskel; KI-generierte Übersichten können vollständig falsche Informationen enthalten, die nichts mit der Realität zu tun haben
2 Kommentare
Ich denke, es ist am besten, LLMs nur zum Zusammenfassen zu verwenden. Der Prozess, die Quelle der Daten zu finden und zu verifizieren, ist unbedingt erforderlich.
Meinungen auf Hacker News
Gemini in der Google-Suche kümmert sich nicht um Kontext oder Genauigkeit, sondern erfindet willkürlich Inhalte, die scheinbar die Suchanfrage stützen. Das ist fast schon reine Konfabulation (confabulation), und wenn man es selbst ausprobiert, ist es absurd.
Wenn man das gesuchte Ergebnis bereits kennt, kann es als Gedächtnisstütze taugen, aber wenn man es nicht weiß, ist es überhaupt nicht vertrauenswürdig.
Auch die Ausgaben von Google Veo sind bei genauerem Hinsehen ähnlich löchrig, und es wirkt überhaupt nicht so, als sei in der Ausgabe irgendeine Schlussfolgerung eingeflossen.
Lächerlicher Fehler von Veo: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
Ein Fall, in dem Tesla FSD seltsam reagierte: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...
Wie auch Ben Evans sagt, hat das Versprechen, es werde „besser werden“, seine Grenzen und ist am Ende ein leeres Versprechen.
Gestern suchte ich in AI Overview nach einer Gedenkveranstaltung in einem Berliner Konzertsaal, und es erfand ein komplettes nicht existierendes Album eines bereits verstorbenen italienischen Musikers.
Im Grunde nahm es einfach den Namen des Konzertsaals und behauptete, das sei das wichtigste Werk dieses Künstlers.
Lustigerweise habe ich die Antwort in ChatGPT eingefügt, und es hat den Fehler von AI Overview so bissig und zynisch auseinandergenommen, dass ich lachen musste.
Früher wäre so etwas niemals durchgegangen, heute scheint man es irgendwie okay zu finden.
Ich verstehe nicht, warum man falsche oder ungenaue Ergebnisse akzeptieren soll.
Informationshygiene war schon immer wichtig, aber künftig wird sie wohl wirklich zu einer unverzichtbaren Fähigkeit.
[Baujahr] [Hersteller] [Modell] [Funktion]. Eine Suche, die das alte Google vermutlich perfekt erledigt hätte; inzwischen bestanden 90 % der Seite aus KI-Müll zum falschen Modell, falschen Baujahr und sogar falschen Hersteller.Es gab immerhin ein halbwegs hilfreiches YouTube-Video, aber erst ganz unten auf der Seite fand ich eine Antwort im Stil der alten Google-Suche in einem Forum zu einem völlig anderen Auto. Danke, CamaroZ28.com.
Ich weiß, dass es dort in Wirklichkeit nur ein Gefängnis, einen Costco, ein paar ländliche Wohnhäuser und ansonsten nichts gibt.
Es ist erstaunlich, dass ganz oben auf der Suchseite komplett falscher, fabrizierter Müll platziert wird.
Auch bei Themen wie Arbeitsrecht und anderen Suchen liefert es häufig schlechte Informationen.
Es wäre lustig, wenn sich Menschen nicht tatsächlich darauf verlassen würden.
Dieses Phänomen ist wirklich frustrierend. Ich verstehe die stochastische Natur und die Grenzen von LLMs oder kenne sie zumindest, aber wenn ich meine Frau oder Freunde darauf hinweise, dass sie LLMs für Aufgaben missbrauchen, für die sie ungeeignet und unzuverlässig sind, winken sie einfach ab und tun mich als KI-Zyniker ab.
Sie lassen LLMs weiterhin rechnen, etwa Rechnungen aufteilen, und behandeln auch Ergebnisse von Faktenabfragen als zu 100 % vertrauenswürdig und korrekt.
Der Kern ist, dass ein Chatbot ein breites Spektrum an Aufgaben erledigen kann; gibt es also wegen so etwas wirklich einen Grund, für einen Kontextwechsel in eine ganz andere App zu wechseln?
Ich vermute, dass so etwas auch bei anderen Anwendungsfällen häufiger passieren wird, und am Ende gewinnt immer die Usability.
Ein einfacher Haftungsausschluss wie „KI-Antworten können Fehler enthalten“ oder der Hinweis unten in ChatGPT „ChatGPT kann Fehler machen. Überprüfe wichtige Informationen“ reicht inzwischen eindeutig nicht mehr aus.
Tatsächlich gibt es seit Jahren immer wieder Nachrichten über Schäden durch Halluzinationen von LLMs in bestimmten Bereichen, und trotzdem fallen Menschen weiter darauf herein. Solange Anbieter Halluzinationen nicht vollständig beheben können, müssen sie Nutzer deutlich aktiver über die Möglichkeit von Fehlern aufklären.
Auch wenn dadurch mehr Reibung entsteht, ist es nötig.
Reibung gibt es bereits. KI-Unternehmen und Cloud-Anbieter betreiben alle „zensierte Modelle“, und auf jeder Ebene kommt noch mehr Zensur hinzu.
Was wäre hier also größere Reibung? Noch mehr Pop-ups?
Entscheidet man sich für Ersteres, tötet man damit praktisch das Modell-Hosting-Geschäft.
Unternehmen könnten Modelle entwickeln, intern nutzen und ihren Mitarbeitenden bereitstellen, aber öffentliche APIs würden verschwinden.
Unternehmen würden Modelle untereinander über rechtlich bindende Verträge nutzen oder lizenzieren, doch die breite Öffentlichkeit hätte ohne Mechanismen zur Minderung rechtlicher Risiken keinen Zugang mehr.
Wenn sich die Haltung in ein paar Jahren lockert, könnten einige Unternehmen anfangen, die Grenzen auszuloten, etwa indem sie juristische Freigabeprozesse automatisieren oder die Registrierung öffnen.
Auch wenn Google Maps jemanden an einen falschen Ort wie eine fragwürdige Gegend geführt hat, wurde daraus eine Nachricht, und es brauchte Krisenkommunikation.
Heute reicht es, so einen Haftungsausschluss dranzukleben.
Die Nachsicht der öffentlichen Meinung, die diese Technologien genießen, ist unverhältnismäßig und entmutigend.
Es dürfte ziemlich schwer sein, einen Haftungsausschluss zu formulieren, der so wirksam ist wie einmal gebissen zu werden.
Wie der CEO von Anthropic kürzlich über Massenarbeitslosigkeit sprach, haben sie sich schon mehrfach in dieser Richtung geäußert.
Ich sehe nicht, wie das Betonen möglicher Fehler mit dem Versprechen, menschliche Arbeit zu ersetzen, zusammenpassen soll.
Sprachmodelle sind nicht dafür entworfen, etwas zu wissen, sondern dafür, etwas zu sagen. Deshalb nennt man sie Sprachmodelle und nicht Wissensmodelle.
Ausgehend von bereits erzeugten Wörtern fügen sie fortlaufend das nächste Wort hinzu, abhängig davon, wie häufig diese Reihenfolge ist.
Der Grund, warum die Antwort jedes Mal anders ausfällt, ist, dass beim Auswählen des nächsten Wortes ein Pseudozufallszahlengenerator mitwirkt.
Das Modell betrachtet die Wahrscheinlichkeitsverteilung der wahrscheinlichsten nächsten Wörter, und wenn der Einstellwert
temperature0 ist, gibt es keinen Zufallseinfluss, sodass immer das wahrscheinlichste nächste Wort gewählt wird, also die Top-1-MLE.In GUIs kann man das tatsächlich nicht auf 0 setzen, denn dann entstehen Ausgaben, die wir als „sehr langweilig“ einstufen würden.
Daher weiß das Modell nichts über IBM, PS/2, 80286 und 80486, CPUs, 280 oder das konkrete Modell selbst.
Eine der Antworten scheint anzudeuten, dass es kein Modell 280 gibt; ich frage mich, ob das durch einen anderen Prozess erzeugt wurde, durch eine Art, Nutzerfeedback per Reinforcement Learning einzubeziehen, oder ob es einfach ein glückliches Ergebnis derselben zufälligen Auswahl des nächsten Wortes war.
Ich vermute, Cloud-UIs erlauben temperature 0 nicht, weil das Modell gelegentlich in eine Endlosschleife mit Token-Wiederholungen gerät, und wenn die Öffentlichkeit das sieht, könnte die Immersion leiden.
Google scheint den Fehler zu machen, Wissensvermittlung durch Wortausgabe zu ersetzen.
Aus Sicht des eigentlichen Geschäfts, der Werbeeinnahmen, macht es allerdings vielleicht keinen Unterschied.
Auf der Google-Suche-Website steht der schwache Haftungsausschluss „KI-Antworten können Fehler enthalten“ in kleiner Schrift und ist zudem hinter dem Button Show more versteckt.
Als OpenAI ChatGPT veröffentlichte, musste ich einem Professor, der nicht Informatik studiert hatte, erklären, dass dies nicht die Art von KI ist, an die Menschen denken, sondern derzeit eher eine rechnerische Spielerei, die wie KI aussieht.
Allerdings stellte sich heraus, dass diese Spielerei hervorragend zum Schummeln bei Hausaufgaben taugt.
Wenn man sich nicht groß um Qualität oder Urheberrecht schert, lässt sie sich auch bei vielen anderen Arten von Arbeit gut als Trick einsetzen.
Eine Debatte darüber, was intern passiert, nach dem Muster „kein wahrer Schotte“, ist sinnlos.
Denn wir wissen auch nicht, was im menschlichen Gehirn intern passiert.
Gemini scheint darauf abgestimmt zu sein, Fragen zu beantworten, wie Menschen sie normalerweise eingeben. Gibt man aber eher traditionelle Suchbegriffe ein, kommt erfundener Unsinn heraus.
Ich habe gesehen, dass viele Menschen AI Overview wie ein Orakel behandeln.
So interagieren meiner Ansicht nach „normale“ Menschen, die LLMs nicht direkt verwenden, mit KI.
Anders als beim Vertrauen in Nachrichten scheint es sich nicht nach Altersgruppen zu unterscheiden; das Vertrauen in KI-Ausgaben zieht sich offenbar durch die meisten Bevölkerungsgruppen.
Die Spezies Mensch scheint grundlos selbstsichere Computerantworten zu mögen.
Mehr als zehn Jahre lang gab es an dieser Stelle der Suchseite eine UI für „Auszüge aus der Seite“, und das ergab Sinn.
Sie sparte einen Klick, und wenn man der Originalseite sowie Googles Technik zum Extrahieren von Auszügen einigermaßen vertraute, gab es wenig Grund zur Skepsis.
Wenn man zum Beispiel eine einfache medizinische Frage suchte und ein Auszug der Mayo Clinic erschien, war das ausreichend, weil man der Mayo Clinic vertraute.
Manchmal kopierte ich sogar den Google-Auszug, öffnete die Seite und suchte ihn dort mit
ctrl-f.Google wählte recht zuverlässig seriöse Quellen aus, und die Auszüge waren stets so auf der Seite zu finden, dass der Kontext nicht verzerrt wurde; das reichte, um Vertrauen aufzubauen.
Mit der Zeit wurde dieses System schlechter darin, vertrauenswürdige Quellen auszuwählen, vermutlich weil SEO es ausgenutzt hat.
Und jetzt wurde dieser Platz durch AI Overview ersetzt.
Ich bin nicht grundsätzlich gegen KI, aber KI ist fundamental etwas anderes als „innerhalb von Millisekunden einen überprüfbaren, relevanten Auszug aus einer vertrauenswürdigen Quelle anzeigen“.
Wenn er beim ersten Versuch keine Bestätigung bekommt, formuliert er die Frage so lange um, bis die gewünschte Antwort kommt.
Denn alles ist zu unzuverlässigem und irreführendem SEO-Spam-Bodensatz geworden.
Mir graut bei dem Gedanken, wie viel schlimmer das mit AI Overview noch wird.
Es fühlt sich an, als würden wir in eine Zeit eintreten, in der man nach „Wie funktioniert ein Drucker?“ sucht, die Antwort bekommt, er bestehe aus einem System aus Flaschenzügen und Seilen, und die Leute das blind glauben.
In Bereichen, die mich interessieren, habe ich bei Dutzenden Suchen Fehler genau dieser Größenordnung gesehen, und alle haben wohl auch Screenshots von noch viel absurderen oder offen gefährlichen Antworten gesehen.
„KI-Antworten können Fehler enthalten“ ist der wichtigste Satz, den ich in die gesamte KI-Debatte hineinrufen möchte.
Neben Energie- und Klimaauswirkungen sollte auch das der Kern von Diskussionen über KI-Ethik oder KI-Sicherheit sein.
Wenn dieser Hype ungebremst weiterläuft, sind genau das die zwei Dinge, die uns am meisten schaden werden.
Die Leute erkennen das aber nicht und behandeln es wie ein allmächtiges Orakel.
Am Ende ist es ein statistisches Modell; auch die Wahrscheinlichkeit, dass ein Affe ein Werk von Shakespeare hervorbringt, ist nicht null.
Google hat die Suche also grundlegend falsch ausgerichtet. Es scheint sich nicht mehr für die Korrektheit der Ergebnisse zu interessieren, sondern vor allem dafür, schnelle Antworten und darunter ein Bündel gesponserter Links zu liefern.
Ich habe auch Screenshots gesehen, deren Inhalt Menschen töten oder in rechtliche Schwierigkeiten bringen könnte.
Inzwischen scheint sich das zu „Es ist besser, Halluzinationen zu erzeugen, als eine negative Antwort zu geben“ weiterentwickelt zu haben.
KI ist wie diese eine Person, die zu jedem Thema mit enormer Selbstsicherheit irgendetwas sagen kann. Deshalb weiß ich nicht recht, warum man ihr mehr glauben sollte als einem Kneipengespräch.
Bei KI gibt es keine Signale mangelnden Selbstvertrauens, und weil traditionelle Algorithmen erfahrungsgemäß immer die richtige Antwort liefern, vertrauen Menschen Maschinenausgaben stark.
Der Anteil derjenigen, die sie kritisch betrachten, dürfte verschwindend gering sein.
In mehrfacher Hinsicht bräuchte es dafür Mut. Schließlich bestünde auch das Risiko, von John Ratzenberger verklagt zu werden.
Vor ein paar Tagen hatte ich ein Erlebnis mit ChatGPT und Python-Code.
Ich wollte Gunicorns Logger-Klasse ändern, um bestimmte URL-Pfade herauszufiltern.
Da es sich um einen heißen Codepfad handelt, der bei jeder Anfrage ausgeführt wird, sagte ich, ich hätte drei Lösungsansätze und wolle wissen, welcher am schnellsten sei.
Ich verglich eine Liste plus Schleife mit
startswith, einen kompilierten regulären Ausdruck undstartswithmit einem übergebenen Tupel von Pfaden.ChatGPT erstellte Benchmark-Code und Ergebnisse und sagte, die Regex-Lösung sei in der Python-Standardbibliothek die beste und schnellste.
Das kam mir unglaubwürdig vor, also ließ ich den Benchmark selbst laufen; die Tupel-Version war mehr als fünfmal schneller als der Regex.
Als ich sagte, dass das Ergebnis abweiche, antwortete es fast wörtlich so etwas wie: „Ach stimmt, danke für die Korrektur. Die Tupel-Version ist tatsächlich die schnellste!“
Es hat mir ein paar Minuten beim Schreiben des Benchmark-Codes gespart, aber bei Dingen, bei denen ich mir nicht zu 100 % sicher bin, vertraue ich der Ausgabe kaum.