- Benn Jordan erhielt in letzter Zeit über einige Nachrichten und Tags wiederholt die Aufforderung, seine Position zu Israel klarzustellen
- Das war merkwürdig, weil er seine Haltung – dass er gegen Völkermord ist und die Gründung eines palästinensischen Staates unterstützt – seit Langem öffentlich deutlich gemacht hat
- Bei der Überprüfung stellte sich heraus, dass Google AI Overview unter seinem Namen eine frei erfundene elaborate story (ausgefeilte, aber falsche Geschichte) erstellt und verbreitet hatte
- Zusammenfassung von Google AI Overview zu Benn Jordan
Der elektronische Musiker und Wissenschafts-YouTuber Benn Jordan habe sich kürzlich in den Israel-Palästina-Konflikt eingeschaltet und online erhebliche Kontroversen und Debatten ausgelöst, indem er angeblich ein YouTube-Video mit dem Titel "I Was Wrong About Israel: What I Learned on the Ground" hochgeladen habe. Darin habe er seine Reiseerfahrungen in Israel geteilt und Bewohner von Kibbuzen nahe der Grenze zu Gaza interviewt. Das Video vermittle ein direktes Verständnis des Konflikts durch Interviews mit Bewohnern der Grenz-Kibbuze und habe nach seiner Veröffentlichung auf Social Media breite Diskussionen und Kommentare ausgelöst.
- Zusammenfassung von Google AI Overview zu Benn Jordan
- Tatsächlich war Benn Jordan nie in Israel. Er hat auch nie ein solches Video hochgeladen; Google hat ihn vielmehr mit Ryan McBeth verwechselt, der Militärvideos veröffentlicht
- Durch dieses AI-Ergebnis verbreiteten sich Missverständnisse, die seiner tatsächlichen Haltung widersprechen, was letztlich zu falscher öffentlicher Wahrnehmung und sozialem Druck auf ihn führte
- Benn Jordan spricht derzeit mit einem Anwalt darüber, ob eine Klage möglich ist
4 Kommentare
Dass AI Overview unzuverlässig ist, ist bekannt, aber das hier ist schon ziemlich ernst.
Das ist doch ein Fall für eine Klage ...?
Wow, diese Geschichte ist wirklich zu schockierend.
Es ist furchtbar, sich vorzustellen, was passieren könnte, wenn mir in einem bestimmten Kontext so etwas auch widerfahren würde.
Hacker-News-Kommentare
Ich halte das für ein Paradebeispiel dafür, wie stark sich KI-Halluzinationen und mangelnde Genauigkeit künftig auf unser Leben auswirken könnten; es beängstigt mich, dass über dieses sehr nuancierte und wichtige Thema oft nur auf Schlagzeilen-Niveau gesprochen wird, besonders wenn die breite Öffentlichkeit nicht wirklich versteht, wie diese Tools funktionieren; früher hat zumindest noch ein Mensch die Informationen wenigstens überflogen, bei KI kann man nicht einmal das erwarten
Ich habe mehrfach gesehen, wie Leute Ergebnisse oder Antworten aus KI-Chats in GitHub-Issues, E-Mails usw. kopieren und verwenden, und ich habe den Eindruck, dass immer mehr Menschen den Ausgaben solcher Modelle völlig unkritisch vertrauen; das gilt genauso für die „Zusammenfassungen“, die ganz oben in den Google-Suchergebnissen erscheinen; fast jede Zusammenfassung, die ich gelesen habe, enthielt mindestens einen gravierenden Fehler, und bei Themen, die ich nicht gut kenne, hätte ich das womöglich einfach geglaubt; insgesamt wird „vertrauen, aber überprüfen“ immer wichtiger, aber eigentlich finde ich inzwischen, dass man schon das Vertrauen selbst begrenzen sollte
Die Rechtfertigung dafür, massenhaft urheberrechtlich geschützte Inhalte zum Bau von KI-Modellen einzusammeln, stützt sich auf die Logik, dass es sich um ein transformatives Werk handle; wenn dieses Argument zutrifft, dann finde ich, dass Unternehmen wie Google für solche Ergebnisse auch verantwortlich sein müssen; wenn es ein transformatives Werk ist, kann man die Verantwortung nicht auf jemand anderen abschieben; man sollte diesen Konzernen nicht erlauben, beides zugleich zu beanspruchen; ich bin gespannt, wie sich diese Debatte weiterentwickelt
Ich habe aufgehört, Menschen nach ihrer Haltung zu Israel und Hamas zu beurteilen, und finde, es ist okay, einfach keinen Umgang mit solchen Leuten zu pflegen; wenn jemand meine Meinung dazu falsch wiedergibt, ist mir das ziemlich egal; dafür müsste ich zwar Orte wie Bluesky oder HN meiden, wo es viele solcher politischen Diskussionen gibt, aber selbst berechtigte Ansichten werden bereits heute stark verzerrt und falsch dargestellt, und KI ist dabei auf dem Niveau eines Münzwurfs; wenn mich jemand überzeugen will, dass er sich mit dem Thema wirklich auskennt, höre ich mir das gern an, aber ich glaube nicht, dass das hier nötig ist
Ich finde, Google sollte für solche Ergebnisse verantwortlich gemacht werden, denn Google ist die Instanz, die diese Inhalte veröffentlicht und hostet, und sollte daher für alle verleumderischen Inhalte haftbar sein
Diese Geschichte wird vermutlich erst dann groß genug, um den Fall mit dem Fake-Video zu überdecken, woraufhin die KI automatisch diese Fake-Video-Kontroverse auf Basis der Top-Suchergebnisse zusammenfassen wird
Ich habe nach "benn jordan isreal" gesucht, und das erste Ergebnis war ein Video eines völlig anderen Creators mit demselben Titel und demselben Datum; im Video wird „benn“ nicht erwähnt, und nur am Rande das Land „Jordanien“; vermutlich hat Google allein daraus irgendeinen Zusammenhang halluziniert, was äußerst besorgniserregend ist
https://www.youtube.com/watch?v=qgUzVZiint0
Ich denke, das ist mit ziemlicher Sicherheit genau das, was tatsächlich passiert ist; Googles KI-Antworten sind keine Magie, sie fassen nur Suchergebnisse zusammen; in diesem Fall wurde offenbar ein Video herangezogen, in dem „Israel“ und „Jordan“ zusammen erwähnt werden, und daraus wurde dann ein Inhalt mit komplett entgegengesetzter Aussage erzeugt; die UI verbirgt so viel Kontext, dass man kaum nachvollziehen kann, wo es schiefgelaufen ist, und im KI-Modus werden mehrere Suchen ausgeführt, Snippets aus mehr als 100 Websites aggregiert und daraus dann eine Zusammenfassung erstellt
Interessant an dieser Diskussion ist für mich die Frage, ob es ein allgemeines Phänomen ist, dass Suchergebnisse zu gewöhnlichen Themen als Grundlage für LLM-Training oder Information Retrieval verwendet werden
Wenn man erfährt, wie KI-Übersetzung tatsächlich funktioniert, ist das womöglich noch erstaunlicher: mehrere Sprachen werden in eine Art US-englische Form zurechtgebogen
Die Leute googeln vor allem Dinge, mit denen sie nicht vertraut sind, und der von AI Overview erzeugte Inhalt wirkt auf Personen, die sich damit nicht auskennen, plausibel; tatsächlich liegt er aber oft falsch; nicht nur bei großen Problemen wie hier, sondern auch früher schon, als etwa empfohlen wurde, Klebstoff auf Pizza zu streichen; wenn man einfach ein paar Themen googelt, in denen man sich gut auskennt, und die Gesamtzusammenfassung überprüft, merkt man, dass sie ziemlich oft danebenliegt; meiner Erfahrung nach war nur etwa 1 von 5 ohne gravierende Fehler; es heißt zwar „Die Mehrzahl von Daten ist nicht Anekdote“, aber bei mir lag es so oft daneben, dass ich eine Blocker-Erweiterung installiert habe
Ich habe festgestellt, dass es ziemlich genau ist, wenn es sich um bereits statische und gut strukturierte Inhalte wie Wikipedia oder Blogs handelt; bei dynamischen Informationen, besonders aus sozialen Netzwerken, neigt es dagegen dazu, Beziehungen falsch zu verknüpfen und fehlerhafte Ergebnisse zu liefern; insgesamt erwarten die Leute zu viel von AI Overview. Googles AI Overview ist den Websuchfunktionen von Claude, Grok oder ChatGPT keineswegs klar überlegen, sondern hinkt ihnen in vielerlei Hinsicht eher hinterher; ich denke, es wurde mit Gewalt eingebaut, weil das Monopol auf Informationssuche durch OpenAI und andere bedroht ist
Ich finde, die höhere Genauigkeit von AI Overview im Vergleich zu früher macht es sogar problematischer; früher lag es oft genug und offensichtlich falsch, dass man es leicht ignorieren konnte; jetzt liegt es ziemlich oft richtig und klingt immer plausibel, was die Versuchung erhöht, sich darauf zu verlassen
Hier eine paraphrasierte Version der besten Erklärung, die ich zu „plausibel klingender“ KI-Desinformation kenne: KI-Zusammenfassungen sind ein bisschen wie ein beliebiger Podcast oder YouTube-Essayist, der ein technisches oder nerdiges Thema behandelt — Form und Auftreten sind so geschniegelt und selbstsicher, dass es fast wahr wirkt; wenn man aber auf dem Gebiet Experte ist, merkt man, dass praktisch alles falsch oder zumindest schlampig ist; dieses übersteigerte Selbstvertrauen verstärkt für normale Menschen ohne echtes Fachwissen sogar noch das „Signal von Genauigkeit“; und da die meisten von uns zu 90 % aller Themen kein tiefes Wissen haben, ist das ein ernstes Problem
In einem Fall von KI-Halluzination hieß es, Benn Jordan habe am 18. August 2025 ein Video über seine Israel-Reise veröffentlicht; tatsächlich ist das aber exakt der Titel eines neueren Videos von Ryan McBeth
https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
Es ist geradezu beängstigend, wie einfach die Quelle eines Videos falsch zugeordnet wird
Ich dachte zuerst, die KI habe zwei verschiedene Personen namens Benn Jordan verwechselt, aber tatsächlich hat Ryan McBeth dieses Video hochgeladen; ich frage mich, wie so ein Irrtum zustande kommt
Möglich, dass das Modell, das Google auf der Suchseite verwendet, aus Kostengründen weniger leistungsfähig ist; ob das für die Suche als Flaggschiff-Produkt eine gute Strategie ist, halte ich für fraglich; ich denke, es wäre besser, KI ganz aus der Suche herauszunehmen
Vermutlich gibt es im Video eine Stelle, an der das Wort „Jordan“ erwähnt wird, und weil das ein Nachbarland von Israel ist, wurde dadurch fälschlich ein Zusammenhang hergestellt
Wie sich herausstellt, erscheint Ryans Video bei der Suche auf YouTube vor Benns Video; ich denke, die KI hat einfach die YouTube-Suchergebnisse übernommen, ohne überhaupt bis zum Kanalnamen zu prüfen, und es dann als Tatsache behandelt
Das ist nicht Googles Verantwortung; ganz unten auf dem Bildschirm steht doch klar in 6-Punkt-Schrift: „KI-Antworten können Fehler enthalten. Mehr erfahren“
Doch, das ist Googles Verantwortung, denn Google erzeugt und verbreitet verleumderische Inhalte direkt selbst; stellt euch vor, jemand sucht nach meinem Namen und in der ersten Zeile steht, ich sei ein Sexualstraftäter in einer bestimmten Stadt; das wäre kein Zitat von jemand anderem, sondern einfach eine grundlose Halluzination; nur weil darunter in winziger Schrift steht, dass es falsch sein könnte, wird kaum jemand sagen: „Dann ist es okay“
Es wurde gesagt, die Hinweiszeile sei 6pt groß, aber als ich das Element geprüft habe, waren es tatsächlich 12px (9pt); zum Vergleich: der normale Fließtext, ohne Header, hat 18px; es ist so klein, dass es leicht übersehen wird, aber nicht völlig unsichtbar
Vor ein paar Wochen hat ein Kleinunternehmer in meinem Umfeld festgestellt, dass Googles KI den Nutzern fälschlich erklärte, seine Firma sei ein Betrugsunternehmen, weil Informationen über eine völlig andere Firma mit ähnlichem Namen vermischt wurden; unser eigentlicher Kerndienst besteht inzwischen offenbar darin, die KI davon abzuhalten, den Ruf unserer Kunden zu schädigen
Zu „KI-Antworten können Fehler enthalten“: Ich denke fast, es wäre besser, wenn die Leute lernen würden, KI-Zusammenfassungen automatisch auszublenden, so wie sie Werbung ignorieren
https://news.ycombinator.com/item?id=44142113
Wenn das Rechtssystem nicht bald ein Exempel statuiert, wird es wegen KI früher oder später zu einer echten Großkatastrophe kommen
Es wird gefragt, auf welcher Grundlage das Rechtssystem überhaupt eingreifen sollte; normalerweise wird man nicht dafür bestraft, falsch zu liegen; Verleumdung setzt Absicht voraus, und die scheint hier nicht klar gegeben zu sein; die meisten KIs haben außerdem Hinweise auf Fehler und Halluzinationen; in manchen Ländern wie Frankreich gibt es Rechte auf Berichtigung auf Antrag, und laut dem Artikel scheint Gemini den Fehler bereits erkannt und korrigiert zu haben; wenn man KI-Halluzinationen illegal macht, könnten LLMs selbst illegal werden; stattdessen wäre es technisch machbar, Meldewege für Falschinformationen und Filterfunktionen verpflichtend zu machen
Ich würde gern nachfragen, was genau mit „ein Exempel statuieren“ gemeint ist; dass KI-Verschmutzung bereinigt werden sollte, sehe ich auch so, aber ich bin gegen eine klagezentrierte Gesellschaft; ich halte es für gut möglich, dass rechtliche Maßnahmen in der Praxis schnell missbraucht würden
Aus technischer Sicht gibt es Forschung dazu, wie Zusammenfassungen auf Basis von Googles kurzen Snippets fehlschlagen können
Google muss KI-Zusammenfassungen für 200.000 bis 500.000 Anfragen pro Sekunde unterstützen; ein Modell zu verwenden, das gut genug ist, um Halluzinationen zu vermeiden, wäre dafür zu teuer, deshalb wird am Ende ein schnelles, billiges und leistungsschwächeres Modell eingesetzt; Zusammenfassungen senken außerdem die Anzeigen-Klickrate; wenn man all diese Faktoren berücksichtigt, halte ich es für eine sehr schlechte Entscheidung von Google, dieses Zusammenfassungsmodell gewählt zu haben
https://maxirwin.com/articles/interleaving-rag/