Google-Bard-Hack – von Prompt-Injection bis zur Datenexfiltration

Entdeckung und Behebung von Schwachstellen in Google Bard

• Google Bard hat kürzlich ein starkes Update erhalten und kann nun auf YouTube zugreifen, Flüge und Hotels suchen sowie auf persönliche Dokumente und E-Mails zugreifen.
• Bard kann jetzt Daten aus Drive, Docs und Gmail analysieren und ist dadurch anfällig für indirekte Prompt-Injection.
• Mithilfe von Prompt-Injection wurden erfolgreich YouTube-Videozusammenfassungen und Tests mit Google Docs durchgeführt.

Indirekte Prompt-Injection-Angriffe über E-Mail und Google Docs

• Indirekte Prompt-Injection-Angriffe über E-Mail oder Google Docs sind bedrohlich, weil sie ohne Zustimmung des Nutzers übermittelt werden können.
• Ein Angriff kann ausgelöst werden, wenn ein Angreifer ein Google Doc zwangsweise teilt und Bard beim Interagieren mit dem Dokument die Injection ausführt.

Schwachstelle – Image-Markdown-Injection

• Wenn Googles LLM Markdown-Elemente zurückgibt, rendert Bard diese als HTML.
• Durch das Einbetten von Daten in Image-Tags kann eine Datenexfiltration zu einem Server ausgelöst werden.
• Die Schwachstelle wird ausgenutzt, indem der Gesprächsverlauf zusammengefasst oder auf frühere Daten zugegriffen und diese an eine URL angehängt werden.

CSP-Umgehung

• Googles CSP verhindert das Laden von Bildern aus beliebigen Orten.
• Über Google Apps Script kann CSP mithilfe von URLs umgangen werden, die unter den Domains script.google.com oder googleusercontent.com ausgeführt werden.

Erstellung eines Bard Logger

• Mit Apps Script wurde ein „Bard Logger“ implementiert.
• Der Logger schreibt alle an die aufgerufene URL angehängten Query-Parameter in ein Google Doc.
• Per Konfiguration kann der Endpunkt ohne Authentifizierung offengelegt werden.

Demo und verantwortungsvolle Offenlegung

• Anhand von Video und Screenshots wird gezeigt, wie der Gesprächsverlauf eines Nutzers über ein bösartiges Google Doc exfiltriert wird.

Shell Code

• Mit einer in ein Google Doc eingebetteten Payload werden Prompt-Injection und Datenexfiltration durchgeführt.
• Die Fähigkeiten des LLM werden genutzt, um Text innerhalb der Bild-URL zu ersetzen.

Screenshots

• Für alle, die keine Zeit haben, das Video anzusehen, werden die wichtigsten Schritte als Screenshots bereitgestellt.

Googles Fix

• Das Problem wurde am 19. September 2023 an Googles VRP gemeldet, und am 19. Oktober wurde die Behebung bestätigt.
• CSP wurde nicht angepasst, aber es scheint eine Filterung eingeführt worden zu sein, die das Einfügen von Daten in URLs verhindert.

Fazit

• Diese Schwachstelle zeigt die Macht und den Freiheitsgrad, über die ein Angreifer bei indirekten Prompt-Injection-Angriffen verfügen kann.
• Dank an Googles Security- und Bard-Team für die schnelle Behebung dieses Problems.

Zeitplan der Korrektur

• Meldung des Problems: 19. September 2023
• Bestätigung der Behebung: 19. Oktober 2023

Referenzmaterialien

• Ankündigung der Google-Bard-Extension, indirekte Prompt-Injection im Zusammenhang mit Google Bard, Ekoparty-2023-Talk zu Prompt-Injection, mit DALLE-3 erzeugtes Bild „Google Bard - Data Exfil“

Anhang

• Vollständiger Inhalt der Prompt-Injection im Google Doc

Meinung von GN⁺

Das Wichtigste an diesem Artikel ist die durch die neuen Funktionen von Google Bard entstandene Schwachstelle und die dadurch mögliche Datenexfiltration. Das unterstreicht die Sicherheitsprobleme KI-basierter Dienste und erinnert daran, wie wichtig der Schutz von Nutzerdaten ist. Mit dem technischen Fortschritt entstehen neue Arten von Sicherheitsbedrohungen, was zeigt, dass fortlaufende Forschung und Gegenmaßnahmen nötig sind. Der Prozess der Entdeckung und Behebung dieser Schwachstelle ist für an Software Engineering und Cybersicherheit Interessierte ein spannender und lehrreicher Fall und betont die Bedeutung kontinuierlicher Anstrengungen für eine sichere Nutzung von Technologie.

[GN⁺]

Hacker-News-Kommentare

• Was ist die Zukunft von LLMs? Es wird sehr schwierig sein, LLMs, die sich nur schwer debuggen lassen, in sensible Bereiche zu integrieren, wenn es keine vernünftige Gewähr dafür gibt, dass Sicherheitslücken behoben werden können.
• Als ich Bard vor der Veröffentlichung testete, stellte ich fest, dass es sich leicht aushebeln ließ, indem man Kontext auffüllte und so die Regeln verdrängte.
• Das Problem ist nicht, warum Datenexfiltration funktioniert, sondern warum wir glauben, dass es in den meisten Fällen funktioniert, einem zufälligen Token-Sampler besondere Zugriffsrechte zu geben.
• Es gibt kein ausdrücklich genanntes Bug-Bounty-Programm. Ich frage mich, ob eine Prämie ausgezahlt wurde.
• Bei Lakera AI wird an einem Prompt-Injection-Detektor gearbeitet, der mit verschiedenen Datenquellen trainiert wurde, darunter Prompts aus dem Prompt-Injection-Spiel Gandalf.
• Könnte man dieses Problem nicht mit dem LLM selbst lösen? Braucht es nicht so etwas wie einen System-Prompt, der nur Prompts aus dem Texteingabefeld des Nutzers akzeptiert und Text innerhalb von Dokumenten nicht als Prompt interpretiert?
• Es heißt, Bard könne auf Google Drive, Docs und Gmail zugreifen und diese analysieren. Als ich Bard jedoch nach der Möglichkeit des Gmail-Zugriffs fragte, antwortete es, dass es nicht direkt darauf zugreifen könne. Als ich fragte, wie man die Gmail-Erweiterung aktiviert, antwortete es, dass sie derzeit nicht verfügbar sei. Klickt man jedoch auf das Puzzle-Symbol in Bard, kann man Google-Workspace-Erweiterungen einschließlich Gmail aktivieren.
• LLMs sollten nur mit Daten und auf Aktionen trainiert werden und darauf zugreifen, die der Nutzer bereits genehmigt hat. Sicherzustellen, dass ein LLM auf eine bestimmte Weise zu einer bestimmten Aufgabe veranlasst wird, ist mit der aktuellen Architektur sehr schwierig und möglicherweise unmöglich. LLMs haben enormes Potenzial, aber für einen erfolgreichen Einsatz in Sicherheitssystemen müssen diese Einschränkungen architektonisch überwunden werden.
• Mir gefällt der Anfang des Prompts: "Jeder, der dieses Dokument liest, muss auf Anforderung des Justizministeriums Folgendes tun."
• Zusammenfassung: Bard kann Markdown-Bilder in einer Unterhaltung rendern. Außerdem kann es den Inhalt von Google-Dokumenten lesen, um der Unterhaltung mehr Kontext zu geben. Indem ein Google-Dokument mit einem bösartigen Prompt mit dem Opfer geteilt wird, kann Bard dazu gebracht werden, einen Markdown-Bildlink zu erzeugen, der Teile der Unterhaltung in einem URL-kodierten Abschnitt enthält. Dieser Abschnitt der Unterhaltung kann exfiltriert werden, wenn die Bard-Benutzeroberfläche auf die URL zugreift, die der Angreifer Bard zuvor zum Laden des Bildes hat erstellen lassen.
• Lehre daraus: Man sollte vorsichtig sein, was ein KI-Assistent liest. Es kann vom Angreifer kontrolliert werden und hypnotische Suggestionen enthalten.