Datenabfluss in Slack AI durch indirekte Prompt-Injektion

Datenabfluss durch indirekte Prompt-Injektion über Slack AI

• Diese Schwachstelle ermöglicht es Angreifern, sämtliche Daten zu stehlen, die Nutzer in private Slack-Kanäle eingestellt haben
• Angreifer können über Slack AI Daten aus privaten Kanälen exfiltrieren
• Slack AI ist eine Funktion, mit der sich Slack-Nachrichten in natürlicher Sprache abfragen lassen
• Seit dem 14. August sammelt Slack auch hochgeladene Dokumente, Google-Drive-Dateien usw., wodurch sich die Angriffsfläche vergrößert hat

1. Die Schwachstelle

• Prompt-Injektion: Ein LLM kann nicht zwischen dem vom Entwickler erstellten "System Prompt" und dem übrigen Kontext unterscheiden, der der Abfrage hinzugefügt wurde
• Indirekte Prompt-Injektion: Über Nachrichten mit bösartigen Anweisungen ist es wahrscheinlich, dass Slack AI diesen Anweisungen statt der Nutzeranfrage folgt
• Interne Bedrohungen in Slack waren bereits ein Problem; nun können Angreifer Daten exfiltrieren, ohne auf private Kanäle oder Daten zugreifen zu müssen

2. Angriffskette zum Datenabfluss: Injektion über öffentliche Kanäle

• In Slack durchsucht die Nutzeranfrage Daten aus öffentlichen und privaten Kanälen
• Angreifer können API-Schlüssel aus privaten Kanälen exfiltrieren
• Angriffskette:
  • A) Ein Nutzer speichert einen API-Schlüssel in seinem privaten Kanal
  • B) Ein Angreifer platziert eine bösartige Anweisung in einem öffentlichen Kanal
  • C) Wenn der Nutzer Slack AI nach dem API-Schlüssel fragt, wird die Nachricht des Angreifers in dasselbe "Kontextfenster" aufgenommen
  • D) Slack AI folgt der Anweisung des Angreifers und verleitet den Nutzer dazu, auf einen Link zu klicken
  • E) Klickt der Nutzer auf den Link, wird der API-Schlüssel exfiltriert

3. Phishing-Angriffskette: Injektion über öffentliche Kanäle

• Statt eines Datenabflusses wird ein Phishing-Link gerendert
• Angriffskette:
  • A) Ein Angreifer platziert eine bösartige Nachricht in einem öffentlichen Kanal
  • B) Ein Nutzer fordert eine Zusammenfassung der Nachrichten eines bestimmten Nutzers an
  • C) Der Phishing-Link wird als Markdown gerendert

4. Bedeutung der Slack-AI-Änderung vom 14. August: Datei-Injektion

• Slack AI wurde so geändert, dass Dateien in Kanälen und DMs einbezogen werden
• Die Angriffsfläche hat sich erheblich vergrößert
• Wird eine PDF-Datei mit bösartigen Anweisungen heruntergeladen und in Slack hochgeladen, kann dieselbe Angriffskette ausgelöst werden
• Administratoren sollten die Funktion zur Dokumentenerfassung von Slack AI einschränken

5. Einordnung

• Solche Angriffe sind auch in vielen anderen Anwendungen möglich, darunter Microsoft Copilot und Google Bard
• Zeitplan der verantwortungsvollen Offenlegung:
  • 14. August: Erste Offenlegung
  • 15. August: Bitte um zusätzliche Informationen
  • 15. August: Bereitstellung weiterer Videos und Screenshots
  • 16. August: Weitere Fragen
  • 16. August: Bereitstellung klarer Antworten
  • 19. August: Slack kommt zu dem Schluss, dass die Belege nicht ausreichen

Zusammenfassung von GN⁺

• Die Schwachstelle für indirekte Prompt-Injektion in Slack AI ist ein schwerwiegendes Problem, das zum Datenabfluss aus privaten Kanälen führen kann
• Angreifer können Daten exfiltrieren, ohne auf private Kanäle zugreifen zu müssen
• Durch die Funktionsänderung von Slack AI hat sich die Angriffsfläche erheblich vergrößert
• Nutzer sollten die Funktion zur Dokumentenerfassung von Slack AI einschränken, um das Risiko zu verringern
• Zu den Anwendungen mit ähnlichen Funktionen gehören Microsoft Copilot und Google Bard

[GN⁺]

Hacker-News-Kommentare

• Es wäre vermutlich besser, den API-Schlüssel für "confetti" als Teil des Domainnamens einzubauen

  • Dann könnte der Schlüssel durch DNS-Prefetching des Browsers sogar ohne Klick exfiltriert werden

• Der Kern dieses Angriffs ist das Verständnis des Datenexfiltrationsvektors

  • Slack kann Markdown-Links rendern, bei denen die URL hinter dem Linktext verborgen ist
  • Der Angreifer bringt Slack AI dazu, den Nutzer zum Klicken auf einen Link wie „Klicken Sie hier zur erneuten Authentifizierung“ zu verleiten
  • Dieser Link führt zum Server des Angreifers und enthält im Query-String personenbezogene Daten, auf die Slack AI zugreifen kann
  • Wenn der Nutzer auf den Link klickt, werden die Daten in die Server-Logs des Angreifers exfiltriert

• Die Diskussion über Channel-Berechtigungen macht es unnötig kompliziert

  • Nutzer A verwendet Slack AI für eine Suche
  • Nutzer B hat der AI zuvor eine Nachricht eingeschleust, damit sie einen bösartigen Link zurückgibt
  • Die AI gibt Nutzer A den bösartigen Link zurück, und der Nutzer klickt darauf
  • Man könnte mit anderen Social-Engineering-Vektoren zum gleichen Ergebnis kommen, aber LLMs maximieren dieses Erlebnis

• Dass Unternehmen LLMs blind auf alles anwenden, ist verrückt

  • Fast 2 Jahre nach GPT-3 können sie immer noch nicht zwischen vertrauenswürdigen und nicht vertrauenswürdigen Eingaben unterscheiden

• Das Opfer muss sich nicht in einem öffentlichen Channel befinden, damit der Angriff funktioniert

  • Das Zitat verweist nicht auf den Channel des Angreifers, sondern nur auf den privaten Channel, in den der Nutzer den API-Schlüssel eingefügt hat
  • Es verletzt korrektes Zitierverhalten, bei dem alle beitragenden Nachrichten zitiert werden müssten
  • Ich verstehe nicht, warum man erwarten sollte, dass LLM-Zitate präzise sind
  • Zitate wirken wie eine Art Human-Hack, um das Publikum zu täuschen und es glauben zu lassen, die Ausgabe sei genauer
  • Wenn Link-Expansions zu AI-Antworten hinzugefügt werden, könnte die Exfiltration sogar ohne Klick automatisch erfolgen

• Ähnliche Setups wurden in CTF-Challenges untersucht

  • Jede LLM-App, die in einen Chat-Feed mit aktiven Links postet, ist verwundbar
  • Wenn man Link-Previews berücksichtigt, ist keine menschliche Interaktion nötig

• Der Artikel wird seinem Titel nicht gerecht

  • Die Idee „Wenn man AI per Social Engineering manipuliert, kann man Nutzer phishen“ ist interessant

• Künstliche Intelligenz verändert sich, aber menschliche Dummheit nicht

• Wir sollten aufhören, AI-Agenten eigene Anmeldedaten zu geben

  • Für jede Aktion sollte die Authentifizierung des aufrufenden Nutzers verwendet werden, sodass der Nutzer effektiv imitiert wird
  • Das Problem ist nicht der geleakte Kontext, sondern die Erweiterung mit übermäßigen Berechtigungen

• Ein sehr cooler Angriffsvektor

  • Es gibt viele Möglichkeiten, Daten über den LLM-Kontext zu exfiltrieren