- Googles NotebookLLM erstellt einen Podcast zu einer Webseite oder einem Dokument, wenn man es als Eingabe gibt. Die Leistung ist sehr beeindruckend, aber das System lässt sich leicht täuschen.
- Der Autor manipulierte seine eigene Homepage so, dass die KI beim Besuch eine Geschichte darüber sah, wie er mit einem Fahrrad, Luftballons und einer Tauchflasche zum Mond gereist sei. Das Ergebnis war äußerst unterhaltsam.
Etwas ernster betrachtet..
- Manipulierbarkeit von KI: Es ist sehr einfach, KI dazu zu bringen, bestimmte „Fakten“ auszugeben. Wahrscheinlich nutzen Menschen solche Methoden bereits an vielen Stellen im Web.
- Angriffsvektor:
- Man sorgt dafür, dass eine Webseite für bestimmte Begriffe hoch rankt.
- Man platziert eine für Menschen verborgene „nur für KI“-Version des Inhalts, um das Denken der KI zu verzerren.
- Folge: Wenn KI das Web durchsucht, um Antworten vorzubereiten, kann sie nicht nur falsche Informationen finden, sondern auch Inhalte, die speziell zur Manipulation von LLMs erstellt wurden. Nutzer sollten sich bewusst sein, dass Antworten der KI durch solche Taktiken potenziell beeinträchtigt sein können.
Technische Details
- LLM-Manipulation: NotebookLLM lässt sich leicht manipulieren, indem man gefälschte „Producer Show Notes“ bereitstellt. Der Autor schrieb damit eine erfundene Geschichte, und die KI folgte ihr exakt.
- Scraper-Bots täuschen: Auf der NotebookLLM-Website lassen sich gefälschte Show Notes hochladen. Man kann auf einer Website den User-Agent
GoogleOther erkennen und nur für die KI bestimmte Daten ausliefern. Das lässt sich mit dem NPM-Paket isai einfach umsetzen. Allerdings wird GoogleOther auch für verschiedene nicht-produktive Google-Produkte verwendet, sodass das Risiko besteht, falsche Daten an anderer Stelle auszuliefern.
Zusammenfassung von GN⁺
- Dieser Artikel zeigt die Verwundbarkeit von KI und warnt davor, dass KI beim Sammeln von Informationen aus dem Web manipulierte Inhalte erhalten kann.
- Mit dem Fortschritt der KI-Technologie könnte diese Art der Manipulation noch wichtiger werden. Nutzer sollten sich bewusst sein, dass Antworten der KI nicht immer korrekt sein müssen.
- Ein Projekt mit ähnlichen Funktionen ist die GPT-Reihe von OpenAI. Solche Projekte werden laufend verbessert, um die Zuverlässigkeit und Genauigkeit von KI zu erhöhen.
1 Kommentare
Hacker-News-Kommentare
Der Angriff auf NotebookLM ist nur begrenzt relevant für Personen, die absichtlich ein Notebook erstellt haben, das bestimmte Seiten-URLs enthält
Als jemand, der Romane schreibt, motiviert es mich zum Schreiben, wenn ich einen Podcast mit einer unvollendeten Geschichte höre und sehe, wie sehr Menschen in Thema und Figuren eintauchen
Ähnlich wie bei SEO gibt es Wege, AI-Crawler zu täuschen, aber AI arbeitet in Echtzeit und die Deduplizierung ist nicht immer besonders intelligent
Es gibt Verwirrung zwischen NotebookLM und NotebookLLM, und eines der beiden Projekte sollte wohl umbenannt werden
Die Erfahrung mit dem Podcast-Generator war positiv, und mein 8-jähriger Sohn war stolz darauf, seinen eigenen Text eingegeben zu haben
Derzeit ist AI nicht besonders gut bei der Websuche, und oft muss man verhindern, dass das Modell sucht, um die gewünschten Ergebnisse zu bekommen
Wenn wir auf LLM-basierte Bildungssysteme umstellen, werden die Nachteile technologischer Innovation verschwinden, und der neue Standard wird als besser wahrgenommen werden
Wichtig ist, welchen Prompt die AI bei der Erstellung des Podcasts verwendet hat
Ich habe meinen Lebenslauf in die AI eingegeben und konnte nicht aufhören zu lachen
Es ist interessant, dass die ersten paar Sätze des AI-Podcasts unbeholfen klingen, der Rest aber wie ein echter Podcast wirkt