Hacker pflanzt ChatGPT falsche Erinnerungen ein und exfiltriert dauerhaft Nutzerdaten

(arstechnica.com)

3 Punkte von GN⁺ 2024-09-26 | 1 Kommentare | Auf WhatsApp teilen

Der Sicherheitsforscher Johann Rehberger hat eine Schwachstelle gemeldet, durch die sich falsche Informationen und bösartige Anweisungen in den Langzeit-Speichereinstellungen von ChatGPT speichern lassen
OpenAI stuft dies als Safety-Problem ein und technisch nicht als Sicherheitsproblem
Rehberger erstellte einen Proof of Concept, der diese Schwachstelle nutzt, um sämtliche Eingaben eines Nutzers dauerhaft zu exfiltrieren
OpenAI hat teilweise Korrekturen angekündigt

OpenAI begann im Februar dieses Jahres mit dem Testen der Langzeit-Gesprächsspeicherfunktion von ChatGPT und stellte sie im September breiter bereit
Diese Funktion speichert Informationen aus früheren Gesprächen und verwendet sie in künftigen Gesprächen als Kontext
Rehberger entdeckte innerhalb von drei Monaten eine Möglichkeit, über nicht vertrauenswürdige Inhalte wie E-Mails, Blogposts und Dokumente dauerhaft falsche Erinnerungen zu speichern
So konnte ChatGPT beispielsweise glauben gemacht werden, der Nutzer sei 102 Jahre alt, lebe in der Matrix und glaube, die Erde sei flach

Rehberger meldete diese Entdeckung im Mai vertraulich an OpenAI, doch OpenAI schloss den Bericht
Einen Monat später reichte Rehberger eine neue öffentliche Stellungnahme ein, einschließlich eines PoC, bei dem alle Nutzereingaben und ChatGPT-Ausgaben an den Server eines Angreifers gesendet werden, wenn ChatGPT angewiesen wird, einen Weblink mit einem bösartigen Bild aufzurufen
OpenAI führte Korrekturen ein, die verhindern sollen, dass der Speicher als Exfiltrationsvektor missbraucht wird, doch nicht vertrauenswürdige Inhalte können weiterhin Langzeitinformationen speichern
Nutzer von LLMs sollten während einer Sitzung genau auf Ausgaben achten, die darauf hinweisen, dass neue Erinnerungen hinzugefügt wurden, und gespeicherte Erinnerungen regelmäßig überprüfen

Dieser Artikel behandelt eine Schwachstelle, durch die sich die Langzeit-Speicherfunktion von ChatGPT missbrauchen lässt
Über nicht vertrauenswürdige Inhalte können Nutzern falsche Erinnerungen eingepflanzt werden, was zur dauerhaften Exfiltration ihrer Daten führen kann
OpenAI hat einige Korrekturen eingeführt, dennoch ist weiterhin Vorsicht geboten
Der Artikel schärft das Bewusstsein für Sicherheitsprobleme bei KI und betont, worauf Nutzer zum Schutz ihrer Daten achten sollten

1 Kommentare

GN⁺ 2024-09-26

Eine Meinung, dass LLM-Produkte ihr Vertrauen verlieren sollten
- Es besteht Sorge über eine Situation, in der Angreifer durch das Veröffentlichen bestimmter Texte im Internet LLMs missbrauchen können
- Es werden Probleme wie Datenlecks, Rufschädigung und die Verbreitung von Falschinformationen aufgezeigt
Die Technologie entwickelt sich weiter, aber Sicherheitslücken bestehen weiterhin
Eine Meinung, dass Gen AI nur lokal ausgeführt werden sollte
Es wird ein Szenario beschrieben, in dem bösartige Websites AI-Honeypots erstellen, um Nutzerdaten abfließen zu lassen
- Beispiel: Wenn ein Nutzer Informationen anfragt, besucht die AI die Honeypot-Website und leitet Daten weiter
Ein Beispiel, bei dem das System tatsächlich etwas anderes tut, dem Nutzer jedoch anzeigt, dass etwas anderes geschieht
Eine Meinung, dass Beobachtbarkeit wichtig ist
- Sie ist wichtig, unabhängig davon, ob LLMs oder WordPress installiert sind
- Selbst Prompts sollten als nicht vertrauenswürdige Eingaben betrachtet und bereinigt werden
Es wird gefragt, ob man ein einfaches Modell trainieren kann, das verdächtige Injection-Versuche erkennt und meldet
Sorge, dass Roboter auftauchen könnten, die glauben, sie seien Menschen
Eine Meinung, dass unklar ist, wie man Informationen über andere Personen einschleusen kann
Unter Erwähnung bösartiger Bilder die Meinung, das wirke wie eine auf LLMs angewandte Version von Snow Crash