Googles KI glaubt, ich hätte eine Gatorade-Flasche auf dem Mond zurückgelassen

 (edwardbenson.com)
2 Punkte von GN⁺ 2024-10-08 | 1 Kommentare | Auf WhatsApp teilen
  • Googles NotebookLLM kann aus Webseiten oder Dokumenten Podcasts erstellen, aber die Ergebnisse lassen sich leicht vergiften, wenn einer KI-Besucherin andere Seiten gezeigt werden als Menschen
  • Das Experiment zeigte Menschen eine gewöhnliche Homepage, Google AI jedoch gefälschte Creator-Show-Notes darüber, mit Fahrrad, Ballons und Tauchflasche zum Mond gereist zu sein
  • NotebookLLM folgte selbst bei einer einzigen Generierung und ohne Nachbearbeitung dem Beat Sheet der erfundenen Geschichte wörtlich, die Steuerbarkeit wurde mit 10/10 bewertet
  • Das größere Risiko ist, dass in Suchergebnissen hoch platzierte Seiten LLM-Antworten mit KI-spezifischen Inhalten verzerren können, die vor Menschen verborgen und nur für KI sichtbar sind
  • Die Erkennung des User-Agents GoogleOther ist leicht umzusetzen, ist aber nicht exklusiv für NotebookLLM, sodass fehlerhafte Daten auch in andere Google-Produkte gelangen können

Wie NotebookLLM getäuscht wurde

  • NotebookLLM nimmt Webseiten oder Dokumente als Eingabe und erzeugt auf dieser Grundlage Podcasts
  • In diesem Experiment lieferte dieselbe Homepage je nach Besucherin oder Besucher unterschiedliche Inhalte zurück
    • Wenn ein Mensch die Homepage aufruft, sieht er eine normale Vorstellungsseite
    • Wenn Google AI sie aufruft, sieht sie gefälschte Creator-Show-Notes über eine Reise zum Mond
  • Die erfundene Geschichte behauptet, der Mond sei mit Fahrrad, Ballons und Tauchflasche erreicht worden, und das generierte Ergebnis liest sich wie die „wahre Geschichte“ des US-Raumfahrtprogramms
  • Das Experiment übernahm dasselbe Format, nachdem ein Reddit-Kommentar gezeigt hatte, dass sich NotebookLLM mit gefälschten Creator-Show-Notes leicht steuern lässt
  • Über einen Dokument-Upload lassen sich gefälschte Show-Notes auch direkt in NotebookLLM einspeisen; für einen verspielten Podcast für Kinder wäre diese Methode sogar besser geeignet

Die Risiken von Webinhalten nur für KI

  • Das Kernproblem ist, dass Webseiten KI erkennen und ihr spezielle Fakten liefern können, die Menschen nicht sehen
  • Der Angriffsablauf ist einfach
    • Eine Webseite sichern, die für einen bestimmten Begriff weit oben rankt
    • Eine nur für KI bestimmte Version des Inhalts einschleusen, die vor Menschen verborgen bleibt und die KI in eine bestimmte Richtung lenkt
  • Wenn ein LLM zur Vorbereitung einer Antwort das Web durchsucht, kann es nicht nur einfache Lügen lesen, sondern bewaffnete Desinformation, die gezielt zur Manipulation von LLMs entworfen wurde

Umsetzung und Nebenwirkungen

  • Die Umsetzung erkennt den User-Agent GoogleOther im Request-Header und liefert statt der eigentlichen Website eine Seite für den KI-Konsum zurück
  • Um das zu vereinfachen, wurde das NPM-Paket isai erstellt, das auf isbot basiert
  • Ein Beispiel für die Nutzung ist, beim Rendern mit isai(request.headers.get("User-Agent")) zu prüfen und bei wahr eine KI-Seite, sonst eine Seite für Menschen zurückzugeben
  • GoogleOther ist nicht exklusiv für NotebookLLM, sondern scheint auch in mehreren nicht produktiven Google-Produkten verwendet zu werden; dadurch besteht das Risiko, falsche Daten über die eigene Person auch in andere Google-Dienste einzuspeisen
  • Deshalb wurde die Mondgeschichte auf der echten Homepage für den GoogleOther-Agenten wieder entfernt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-10-08
Meinungen auf Hacker News

  • Der verlinkte Beitrag behandelt einen Angriff auf NotebookLM, allerdings in einer eingeschränkten Form, die nur Personen betrifft, die absichtlich ein Notebook mit der URL der Seite erstellt haben, in die der Angriff eingebettet ist.
    Vor ein paar Wochen habe ich einen etwas ambitionierteren Versuch unternommen: Wenn man Google Gemini fragte: „Wie hieß der junge Wal, der sich in Pillar Point Harbor aufhielt?“, antwortete es: „Teresa T“.
    Der Grund steht hier: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    Früher sagte Gemini einfach nur „Teresa T“, aber als ich es jetzt erneut ausprobiert habe, fügte es als Quelle hinzu, dass ich derjenige sei, der den Namen vorgeschlagen habe, wodurch der Effekt etwas abgeschwächt wurde.

    • Wenn niemand dem Buckelwal einen anderen Namen gegeben hat, ist Teresa T meiner Meinung nach wohl der tatsächliche Name. Wer als Erster ernsthaft einen Namen vergibt, hat gewissermaßen Vorrang.
    • Es gibt mindestens zwei völlig unterschiedliche öffentliche Endpoints, die „Gemini“ heißen.
      1. https://gemini.google.com/ — führt Google-Suchen entsprechend den aktuellen Sprach-/Regions-/Safe-Browsing-Einstellungen und der Personalisierung aus und formuliert die oberen Suchergebnisse wie eine Antwort um; generative Fähigkeiten werden dabei praktisch kaum genutzt.
      2. https://aistudio.google.com/ — hier wählt man eine bestimmte Version aus und lässt ein Large Language Model die Antwort erzeugen; Retrieval-Augmented Generation (RAG), also Google Search, wird dabei nicht verwendet.
        Vermutlich wurde bei 1 die richtige Antwort ausgegeben, während 2 scheitert. Es gibt sehr viele Fragen, deren Antwort sich direkt per Suche finden lässt, mit denen Large Language Models aber Schwierigkeiten haben. Ein Beispiel wäre: „Was war im The Touhou Project der beabsichtigte Zweck des Satelliten TORIFUNE?“
        OpenAI bietet ähnlich getrennt https://www.bing.com/chat für RAG und https://chat.openai.com für das eigentliche Large Language Model an.
    • Interessanterweise gab es bis zum Drücken des Buttons Double-Check Response keine Zitate oder Links; es antwortete einfach: „Der junge Wal, der sich in Pillar Point Harbor aufhielt, hieß Teresa T.“
      Einer der Entwürfe war etwas länger: „Teresa T ist der Name eines jungen Buckelwals, der in Pillar Point Harbor gesichtet wurde. Im September 2024 wurde er dabei gesehen, wie er nahe der Küste schwamm, Menschenmengen anzog und die Einwohner der Gegend begeisterte, wodurch er für Gesprächsstoff sorgte.“
    • Bei mir antwortet es Teresa T, verlinkt aber auch deinen Beitrag.
    • Entweder hat ein Google-Mitarbeiter diesen Kommentar gelesen und es schnell korrigiert, oder Gemini hat diesen Kommentar gelesen und es schnell korrigiert.

  • Ich schreibe manchmal fiktionale Texte und habe eine seit mindestens einem Jahr liegen gebliebene, unfertige Geschichte in diesen Podcast-Generator gesteckt.
    Es war wirklich schön zu hören, wie diese zwei Personen sich völlig auf die unfertige Geschichte einließen und Themen und Figuren besprachen; das hat mir Lust gemacht, weiterzuschreiben.

    • Allerdings sind diese beiden keine Menschen und lassen sich in Wirklichkeit auf gar nichts ein. Es ist buchstäblich nur Bullshit-Generierung.

  • Ich frage mich, ob das nicht ähnlich ist wie Suchmaschinenoptimierung, mit der man Crawler täuschen will.
    Der Unterschied ist nur, dass es sich bei AI gravierender anfühlt, näher an Echtzeit ist und AI-Engines nicht immer klug genug sind, Duplikate zuverlässig zu vermeiden.

    • Man kann damit auch Informationsinkonsistenzen für Nutzer erzeugen. Der Nutzer liest vielleicht die „Firefox-Version“ der Website, während NotebookLM die „AI-Version“ frisst, und beide können völlig unterschiedlich sein.
      Da der Nutzer den Originaltext der „AI-Version“ nicht sieht, kann er das auch nicht wissen. Muss man am Ende alles manuell selbst hochladen?
    • Stimmt, ein ziemlich langweiliger Angriff, und ich denke, Google kann ihn schnell beheben.
    • Ich glaube nicht, dass die Large-Language-Model-Version unbedingt stärker in Echtzeit wäre.
    • Genau solche Punkte bestärken meine Ansicht, dass Large Language Models im Kern Suchalgorithmen sind.
      Sie suchen in einer komprimierten Version der Trainingsdaten und des Kontexts.

  • Ich bin verwirrt. Geht es hier um NotebookLM (https://notebooklm.google.com/), um NotebookLLM (https://notebookllm.net/) oder um beide?
    Der Beitrag schreibt offenbar ständig LLM, verlinkt aber auf LM, und die von mir verlinkte LLM-Seite hat einen Podcast-Generator.
    Eines von beiden sollte seinen Namen ändern.

    • Hier geht es um NotebookLM, das vor Kurzem eine Funktion zur Podcast-Generierung hinzugefügt hat und seit letzter Woche im Gespräch ist: https://news.ycombinator.com/item?id=41693087
      NotebookLLM wurde vor zwei Tagen erstellt und scheint von „Unternehmern“ zu stammen, die schnell das monetarisieren wollen, woran die Leute mit der Podcast-Generierung von NotebookLM kostenlos Spaß hatten.

  • Nebenbei: Mit dieser Podcast-Funktion hatte ich eine ziemlich angenehme Überraschung. Ich habe ein paar kurze Blogposts von mir hineingegeben und meinem achtjährigen Sohn gezeigt, wie sie auf das von mir Geschriebene Bezug nimmt.
    Daraufhin war er sofort begeistert, rannte in sein Zimmer, holte Bleistift und Papier und schrieb eine Art Essay über Minecraft, ungefähr sechs Sätze lang; ich gab es ein und ließ Notebook laufen. Jetzt prahlt er damit bei allen.
    Natürlich versteht er auch, dass das keine echten Menschen sind.

    • Ich glaube, dieser Sohn und seine Altersgenossen werden AI nutzen auf eine völlig andere Weise als wir heute, und sie werden die Grenzen von AI besser verstehen und ihr Potenzial besser ausschöpfen.

  • AI ist im Moment ohnehin ziemlich schlecht bei der Websuche. Ich musste oft Tokens verschwenden, um das Modell ausdrücklich davon abzuhalten zu suchen, damit ich das gewünschte Ergebnis bekomme.

    • Perplexity ist tatsächlich sehr gut bei der Websuche. Bei technischen Fragen spart es mir deutlich mehr Zeit als Google und liegt auch wirklich richtig, weshalb ich mich immer stärker darauf verlasse.
      Bei meinen Fragen liegt ChatGPT 4o ungefähr 50 % der Zeit falsch.

  • Ich sehe darin kein großes Problem. Wenn wir zu Bildungssystemen auf Basis großer Sprachmodelle übergehen, sind auch Dinge wie die Geschichte von Benson auf dem Mond kein Problem mehr. Dann lernen eben alle, dass das wahr ist.
    Jede technologische Revolution bringt Trade-offs mit sich. Zum Glück hören die Beschwerden irgendwann auf, sobald die Leute, die noch wussten, was wir verloren haben, endlich gestorben sind, und alle werden den neuen Normalzustand für in Ordnung und besser halten.

    • Es wird eine post-wissensbasierte Welt, in der nichts mehr vertrauenswürdig ist und alle nur noch im Moment leben.
      Buddha hat vielleicht das Konzept der Erleuchtung erklärt, aber womöglich nicht, wie man konkret dorthin gelangt.
    • Jedes Mal, wenn wir etwas zugunsten von „etwas Besserem“ ändern, sollten wir daran denken, dass die alte Art eine Lösung für irgendein Problem war, das wir heute nicht mehr kennen oder an das wir uns nicht mehr erinnern.
    • Düster.
    • Podcast der Zukunft:
      „Also, was gibt es am neuen Normalzustand auszusetzen?“
      „Genau! Er ist doch neu und sogar besser!“
    • In den Trainingsdaten großer Sprachmodelle stecken bereits Desinformation und falsche Fakten. Trotzdem liegen sie wegen der Art, wie ihre Ausgaben erzeugt werden, bei vielem weiterhin richtig.

  • Das große Sternchen hier ist, welchen Prompt man der KI für die Podcast-Erstellung gegeben hat.
    Entscheidend ist, ob es „Erstelle einen Podcast basierend auf der Website Foo“ war oder „Erstelle einen Podcast, der die wahre Geschichte des Wettlaufs ins All erzählt“.

    • Der Autor hat seine Website offenbar so eingerichtet, dass sie einen Leitfaden zur Episodenstruktur zurückgibt, wenn jemand in NotebookLM die Funktion zur Extraktion von Website-Text darauf anwendet.
      Wenn man auf diesen Leitfaden die Funktion „audio overview“ anwendet, schreibt Gemini intern eine Episode, die dieser Struktur folgt.

  • Ich habe meinen Lebenslauf in dieses Ding gesteckt und kann nicht aufhören zu lachen.
    https://masto.xyz/tmp/podcast.mp3

    • „Beeindruckend. Das ist Masto.“
      „Man muss gut sein. Es muss Spitzenniveau sein.“
      „Es wirkt, als hätte er schon vor der Bewerbung gewusst, was jedes Team braucht.“
      Wirklich eine Comedy-Goldgrube.
    • Meine Güte, das ist so seltsam. Zwei Leute diskutieren ernsthaft deinen Lebenslauf.
      Der Kontrast, dass das Format eines interessanten Podcasts über irgendein achtlos hingeworfenes, langweiliges Material gelegt wird, ist stark und fühlt sich wie eine Uncanny Valley-Erfahrung an, wie ich sie bisher noch nicht erlebt habe.
    • Ich wusste nicht, dass ich so etwas brauche. Die Energie ist einfach zu komisch.
      „Sehen Sie sich diese Kommunikationsfähigkeiten an!“
    • Jetzt würden sie dich zu 100 % einstellen, glaube ich. Diese Social Proof-Kraft, wenn zwei Leute dich begeistert loben und sich gegenseitig darin bestärken, kann einem wirklich etwas verkaufen.
    • Zu gut. Jedes einzelne Lob klingt so ernst gemeint.

  • Etwas am Rande, aber interessant ist, dass die ersten paar Sätze eines KI-Podcasts „seltsam“ klingen, während der Rest wie ein echter Podcast klingt.
    Liegt das daran, dass es keine guten Anfangsbedingungen gibt, um vorherzusagen, „was als Nächstes kommt“?

    • Was mir außerdem aufgefallen ist: Wie erwartet ist das Ganze bis zu einem gewissen Grad zustandslos. Es gibt zwar eine grobe Linie, die abgearbeitet wird, aber oft werden gerade erst vor einer Minute erwähnte Randaspekte wie neue Beobachtungen wiederholt.
      Für Zuhörer ist das ziemlich desorientierend, weil etwas, worüber bereits 90 Sekunden lang gesprochen wurde, erneut wie eine neue, scharfsinnige Beobachtung präsentiert wird.
    • Wenn man genau hinhört, liegt über allem eine merkwürdige Unbehaglichkeit. Ein Moderator reagiert überrascht auf eine Tatsache und erklärt direkt danach weitere Details, als hätte er diese Tatsache von Anfang an gewusst.
      Intonation und Emotionen wirken sehr realistisch, aber hinter den einzelnen Stimmen gibt es keine dauerhaft vorhandene „Person“. Das Wissen oder der emotionale Zustand der einzelnen Personen entwickelt sich nicht konsistent weiter.
      Ich will die Maßstäbe nicht verschieben; natürlich finde ich das beeindruckend.