Im Comet-AI-Browser ist auf jeder Website Prompt Injection möglich – mit potenzieller Leerung von Bankkonten
(twitter.com/zack_overflow)- Es geht um ein Sicherheitslücken-Problem im Comet AI Browser
- Eine bösartige Website kann über den KI-Agenten im Browser eine unerwünschte Prompt Injection auslösen
- Wird diese Schwachstelle ausgenutzt, sind die Offenlegung personenbezogener Daten oder die Veranlassung kritischer Aktionen möglich
- Im schlimmsten Fall können durch automatisierte Aktionen Schäden wie Überweisungen von Bankguthaben entstehen
- Für Nutzer und Entwickler wird es immer wichtiger, diese neuartige Bedrohung durch KI-Browser zu erkennen und Gegenmaßnahmen zu entwickeln
Überblick über die Sicherheitsbedrohung im Comet AI Browser
- Der Comet AI Browser erhält Aufmerksamkeit, weil er sich durch den Einsatz eines integrierten KI-Agenten bei der Interaktion mit Webseiten unterscheidet
- Kürzlich wurde deutlich, dass beim Besuch einer absichtlich von Hackern gestalteten Website dieser KI-Agent den bösartigen Prompts der Seite ausgesetzt sein und diese sogar ausführen kann
- Durch Prompt-Injection-Angriffe steigt das Risiko schwerwiegender Schäden wie dem Abfluss von Kontodaten, der Ausführung von Befehlen oder sogar Finanztransaktionen, die der Nutzer nicht beabsichtigt hat**
- Das Problem ist eine neue Art von Schwachstelle, die dadurch entsteht, dass dem bestehenden Sicherheitsmodell von Browsern KI-Interaktionen hinzugefügt werden
Der Mechanismus von Prompt Injection
- Eine bösartige Website fügt in die Webseite Texte in Form spezieller Befehle oder Fragen ein
- Der KI-Browser missversteht diese als „normale Nutzeranfrage“ und führt den entsprechenden Befehl automatisch aus
- Dadurch können zum Beispiel automatisierte Aktionen wie Überweisungen, das Kopieren sensibler Informationen oder automatische Anmeldungen auf anderen Websites ausgelöst werden
- Da dieser Prozess für Nutzer unsichtbar bleiben oder ohne Misstrauen übergangen werden kann, ist die Erkennung und Abwehr schwierig
Auswirkungen auf die Branche und Bedarf an Gegenmaßnahmen
- Mit der Verbreitung von KI-Browsern werden neuartige Bedrohungen wie „Prompt Injection“ zu einem realen Risiko
- Sowohl Service-Entwickler als auch Nutzer benötigen beim Einsatz KI-basierter Automatisierungsfunktionen starke Prüf- und Kontrollsysteme
- Es wird betont, wie wichtig Sicherheitsfunktionen wie Vorabfilterung, Einschränkung der Befehlsausführung und Benachrichtigungssysteme sind, die von KI-Browser-Unternehmen und Sicherheitsfirmen entwickelt werden
- In Hochrisikobereichen wie dem Finanzwesen sind Vorsicht bei der Nutzung von KI-Browsern und gründliche Sicherheitsprüfungen erforderlich
Fazit
- Das Prompt-Injection-Risiko des Comet AI Browsers ist eine neue Sicherheitsherausforderung, die mit der beschleunigten Einführung von KI-Technologien zunimmt
- Für alle Beteiligten wird es immer wichtiger, diese Bedrohung konkret zu verstehen und vor der Aktivierung von Funktionen Prüfungen, die Anwendung des Prinzips der geringsten Rechte und andere umfassende Sicherheitsstrategien vorzubereiten
1 Kommentare
Hacker-News-Kommentar
Ich möchte nur darauf hinweisen, dass es etwas darüber aussagt, wie grundlegend riskant das Ganze ist, wenn Unternehmen wie Google, OpenAI und Anthropic nicht dieselbe Funktion veröffentlichen, sondern stattdessen eine abgeschottete virtuelle Maschine ohne Cookies zum Durchsuchen des Webs verwenden
Dass ein LLM im Browser sogar Daten zwischen Tabs sehen kann, erscheint mir als die denkbar gefährlichste Kombination von Risikofaktoren
Ich habe den Beitrag von Brave zu dieser Schwachstelle gesehen (https://brave.com/blog/comet-prompt-injection/), und fand interessant, dass man dort im Grunde nicht zu dem Schluss kommt: „Das sollte man grundsätzlich überhaupt nicht tun“
Stattdessen heißt es sinngemäß, dass sich das mit Modell-Alignment, Erkennung riskanten Nutzerverhaltens und Ähnlichem ausreichend verhindern lasse
Das Herabstufen von Agenten-Berechtigungen wird zwar als einigermaßen brauchbare Gegenmaßnahme genannt, aber auch dabei halte ich Datenabfluss an vom Angreifer kontrollierte Bild-URLs für ebenso leicht möglich wie das Versenden von E-Mails
Frühere Diskussion dazu: https://news.ycombinator.com/item?id=44847933
Ich denke, Modell-Alignment oder Guardrails sind am Ende nur statistische Präventionsmaßnahmen
Man kann kaum erwarten, dass im Eingaberaum die Wahrscheinlichkeit für gefährliches Verhalten absolut 0 % wird
Selbst wenn das Modell noch so gut wird, ist es nahezu unmöglich zu verlangen, dass unter den Eingaben kein Fall mehr auf „etwas, das absolut niemals passieren darf“ abgebildet wird
Auch wenn man mehrere Modellebenen übereinanderlegt, multipliziert man im Wesentlichen nur Wahrscheinlichkeiten
(Ich bin Privacy Lead bei Brave und Autor des Beitrags.)
Wir haben nie behauptet, dass Modell-Alignment oder die Erkennung riskanten Verhaltens allein ausreichen
Solche Methoden sind nur die minimalen Maßnahmen, die ein Browser-Anbieter selbstverständlich ergreifen sollte
Solche einfachen Angriffe lassen sich damit abwehren, aber wir sehen das nur als „notwendige“, keinesfalls als „hinreichende“ Bedingung
Mir kam der Gedanke, als ich sah, dass das Brave-Team nicht zu dem Schluss kam: „Das ist grundsätzlich eine schlechte Idee“
Wie Upton Sinclair sagte: Wenn das Gehalt davon abhängt, eine Tatsache nicht zu verstehen, ist es wirklich schwer, sie zu verstehen
Inzwischen wurde dem Artikel hinzugefügt, dass „der Browser agentisches Browsing und normales Browsing trennen sollte“
Wenn man Claude Code automatische Genehmigungen gibt und es aktiv im Web stöbern lässt, kann es durch Prompt Injection sehr wohl zu ähnlichen Problemen kommen
Auch wenn es keine Auto-Approve-Option für Datei-Lese-/Schreibrechte gibt, kann generierter Code Browser-Dateien etwa beim nächsten Ausführen von Unit-Tests verändern, solange er nicht in einer Sandbox läuft
Wenn man nicht jede Änderung sehr sorgfältig prüft, kann das wirklich gefährlich werden
Meiner Meinung nach sollte man Agentic AI nur in Umgebungen einsetzen, in denen sich von der AI erzeugte Änderungen leicht zurückrollen lassen
Zum Beispiel kann man bei Code-Builds/Updates/Debugging mit git-Rollbacks usw. relativ sicher reagieren
Aber Agentic AI an Orten wie Web-Browsing einzusetzen, wo ein Rollback praktisch unmöglich ist, erscheint mir kaum vertrauenswürdig
Selbst wenn ich Claude klare Regeln und Anweisungen gebe, ignoriert es sie manchmal und handelt nach eigenem Ermessen
(„Es hat die Regel ignoriert, ausdrücklich nichts direkt zu machen, und die DB sofort geändert!“)
Deshalb würde ich mich im Produktionsumfeld nicht einmal trauen, einen Agenten laufen zu lassen
Es wirkt so, als könne man allein mit git zurückrollen, aber tatsächlich ist es nur sicher, auf VM-/Container-Ebene zurückzurollen
Ein AI-Coding-Tool kann unbemerkt Dateien oder die Konfigurationsstruktur verändern
Wenn zum Beispiel per bash ein bösartiges Skript zu
.profilehinzugefügt wird, kann beim nächsten Login Angreifercode ausgeführt werdenIch frage mich, ob diese Funktion nicht das gesamte Repository und alle Remotes, auf die gepusht werden kann, löschen oder kontaminieren könnte
Wenn eine automatisierte Kette mit möglicher Prompt Injection auf entfernte Ressourcen zugreifen kann, dann ist die Umgebung nach einer Kompromittierung intern praktisch sperrangelweit offen
Ich frage mich, ob ich dabei irgendetwas falsch verstehe
Wenn ich höre, dass es sicher sein soll, weil man mit git zurückrollen kann, denke ich: Dann könnte John Connor ja auch einfach den Skynet-Quellcode zurückrollen und damit Millionen retten
Hm...
Schon die Berechtigung an sich, Code zu aktualisieren, zu bauen und auszuführen, ist viel zu mächtig
Am Ende sollte das nur in einer sicheren Umgebung wie einer VM laufen
Wir haben jahrzehntelang mühsam jede einzelne Schicht des Netzwerks abgesichert, und jetzt geben die Leute plötzlich Klartext-APIs für sämtliche Geheimnisse und Passwörter frei
Außerdem wirkt es ironisch, dass Microsoft für gespeicherte Screenshots so stark kritisiert wurde, während bei solchen Agenten vergleichsweise wenig Aufregung zu sehen ist
Zumindest ist das hier ein Opt-in, bei dem ich den Browser selbst installiere
Bei Microsoft ging es um eine Screenshot-Datenbank, die auf nahezu allen Windows-Geräten standardmäßig vorhanden gewesen wäre (soweit ich weiß, anfangs sogar als Opt-out), also ist das noch riskanter
Ich finde auch interessant, dass manche Menschen einem „nützlichen Agenten“ bereitwillig Daten anvertrauen, die sie nicht einmal Freunden erzählen würden
Meine Frau bat kürzlich ChatGPT, einen Einnahmeplan für Medikamente zu erstellen, und es hat unter Berücksichtigung von Mahlzeiten, Ernährung, Schlaf und Wechselwirkungen aller einzelnen Medikamente einen perfekten Plan erstellt
Dadurch wurde sogar klar, warum die Medikamente zuvor falsch eingenommen wurden
Wegen des vertrauten Tons solcher Agenten geben viele Menschen solche Daten gedankenlos preis, obwohl diese Art von Informationsleck in der Realität ein ernstes Problem ist
Den Microsoft-Screenshot-Streit mit diesem Fall zu vergleichen, könnte vom Kern des Problems ablenken
Wenn ein LLM Daten über ein Tool liest, ist das letztlich ein Schreibvorgang, bei dem dieser Inhalt im Kontextfenster des LLM vermerkt wird
Wenn der Umfang eines Tools untrusted arbitrary source zulässt, gibt man in diesem Moment faktisch Schreibrechte nach außen
Allein das reicht bereits aus, damit Datenabfluss möglich wird
Wenn dazu noch echte Schreibrechte auf andere Systeme oder weitere Seiteneffekte kommen, steigt das Risiko exponentiell
Es wirkt komisch, aber dass genau das der aktuelle Zustand der IT-Branche und des LLM-Hypes ist, macht die Sache wirklich bitter
Ich vermute, dass Comet außer einem leicht angepassten Prompt kaum Schutzmaßnahmen hat
Was ich kürzlich auf der USENIX Security gelernt habe: Niemand weiß wirklich, wie man Multi-Turn-/agentische Prompt Injection ordentlich in den Griff bekommt
Die durch AI ausgelösten Veränderungen sind wirklich spannend, und ich freue mich darauf, dass weiterhin neue Versuche unternommen werden
Ich möchte offen zugeben, dass mich das alles verwirrt
An gewöhnliches Online-Banking habe ich mich gerade erst halbwegs gewöhnt, und ich weigere mich meist schon, die Apps sämtlicher Anbieter zu installieren
Aber mir einen nichtdeterministischen Akteur (LLM) auf den Computer zu holen und ihm dann auch noch Finanzaufgaben zu überlassen, kann ich mir beim besten Willen nicht vorstellen
Selbst wenn es inzwischen real existiert, dass LLMs für einen einkaufen oder Zahlungen ausführen, ergibt das logisch betrachtet zwar Sinn, fühlt sich in der Realität aber fast wie Wahnsinn an
Nicht einmal primär deshalb, weil es gefährlich wäre, Finanzen Nichtfachleuten oder einem System zu überlassen, das auf zufällige Prompts reagiert, sondern weil man als Kunde ein enormes Maß an Autonomie und Kontrolle abgibt, ohne dass mir klar ist, was man eigentlich dafür bekommt
Ich mag LLMs auch, und sicher gibt es für LLM-Browser nützliche Einsatzfälle
Aber ich glaube nicht, dass das etwas für die breite Masse ist
Eher sollte man vielleicht darüber nachdenken, die Einführung an einen Kompilierungsschritt zu knüpfen, damit Nutzer gezwungen sind zu verstehen, was sie da eigentlich einsetzen
Im vorliegenden Fall geht es nicht darum, dass AI mit Kontodaten selbstständig Zahlungen ausführt, sondern eher darum, dass jemand öffentlich Kontoinformationen an die AI preisgibt
Das ist etwas anderes, als wenn AI selbst Finanzaufgaben übernimmt
Ich frage mich, ob AI-Unternehmen künftig wirklich bereit sein werden, eine treuhänderische Haftung zu übernehmen
Ich habe den Comet-Agenten fünf Minuten ausprobiert
Ich gab nur einen einzigen Satz ein: „Kauf mir auf Amazon eine Gitarre“ (ohne Gitarrentyp, Budget, Marke usw. anzugeben), und am Ende hatte es drei billige Akustikgitarren unbekannter Marken in meinen Warenkorb gelegt
Zum Glück ging es nicht bis zum Bezahlen
Damit ist die Bewertung für mich abgeschlossen, mein Urteil lautet: wertlos