- Eine Schwachstelle, mit der sich allein über den username eines Instagram-Kontos die Meta-Kundensupport-KI täuschen lässt, sodass ein Passwort-Reset und die Übernahme des Kontos möglich sind; betroffen waren viele prominente Konten, darunter das Obama-White-House-Konto
- Angreifer verbinden sich über VPNs oder Proxys in der Nähe der Stadt des Opfers, um den Verdacht der Sicherheitsalgorithmen zu umgehen, und bitten dann die Support-KI mit der Behauptung „Das Konto wurde gehackt“, den Bestätigungscode an eine beliebige E-Mail-Adresse zu senden
- Ohne zusätzliche Verifizierung, ob diese E-Mail früher tatsächlich vom Nutzer verwendet wurde, wird der Code versendet; gibt der Angreifer den Code zurück, erhält er unverändert den Link zum Zurücksetzen des Passworts – ein Zero-Auth-Passwort-Reset
- Da dieser Recovery-Flow als vollständiges Konto-Reset durch den eigentlichen Eigentümer behandelt wird, wird bestehendes 2FA umgangen, Sitzungen werden beendet und Passwörter ohne Benachrichtigung geändert
- Das Kernproblem ist das Fehlen von Guardrails: Die Support-KI eines 1,5-Billionen-Dollar-Unternehmens ändert allein auf Bitte die verknüpfte E-Mail-Adresse; inzwischen gepatcht, aber über Wochen bis Monate aktiv
Ablauf der Kontoübernahme
-
Schritt 01 — Standort vortäuschen und Support-Anfrage starten
- Für den Angriff wird nur der username des Zielkontos benötigt; der Standort des Nutzers lässt sich leicht über öffentliche Profile, den „About“-Bereich und andere Wege ermitteln
- Durch Zugriff über ein VPN oder einen Proxy in der Nähe der Stadt des Opfers wird die Anfrage so getarnt, dass die Instagram-Sicherheitsalgorithmen sie nicht als verdächtig einstufen
- Wirkt die Anfrage wie aus der richtigen Region, teilt man der Meta-Support-KI mit, das Konto sei gehackt worden, und fordert an, den Bestätigungscode an eine beliebige, vom Angreifer kontrollierte E-Mail-Adresse zu senden
-
Schritt 02 — Das war’s schon
- Tatsächlich ist das bereits alles; der erste in Produktion beobachtete Fall eines Zero-Auth-Passwort-Resets
- Es gibt keine zusätzliche Prüfung, ob die angegebene E-Mail-Adresse vom Nutzer tatsächlich verwendet wurde
- Sendet die KI den Sicherheitscode an die E-Mail des Angreifers, gibt dieser den Code zurück, die Verifizierung ist abgeschlossen, und die Plattform übergibt einen neuen Link zum Zurücksetzen des Passworts samt vollständiger Eigentumsübertragung
-
Video-Selfie-Verifizierung
- Die Instagram-KI kann ein Video-Selfie zur Identitätsprüfung verlangen – oder auch nicht
- Die Erkennungsleistung ist derzeit offenbar nicht besonders hoch; weithin wird berichtet, dass schon per KI animierte öffentliche Fotos aus dem Feed des Ziels ausreichen, um die Prüfung zu bestehen
Selbst 2FA hilft nicht
- Da das System diesen hochprivilegierten Recovery-Flow als vollständiges Konto-Reset des „echten“ Eigentümers behandelt, wird dabei bestehendes 2FA vollständig umgangen
- Bestehende Sitzungen werden beendet und das Passwort geändert, aber es gibt überhaupt keine E-Mail-, SMS- oder Push-Benachrichtigungen
- Der eigentliche Eigentümer kann die Wiederherstellung nicht einmal starten, weil E-Mail und Telefonnummer bereits dem Angreifer zugeordnet sind, und versucht dann ohne Eskalationsmöglichkeit im Chat die Kontrolle zurückzugewinnen
- Wenn das Konto durch einen A/B-Test die KI-Support-Option aktiviert bekommen hat, lässt sich diese Option nicht einmal deaktivieren
Schwarzmarkt boomt
- Mehrere Telegram-Gruppen im Schwarzmarkt bieten „account takeover“-Dienste mit hohen Preisen und schneller Abwicklung an
- Kurze Handles haben Werte von Hunderttausenden bis Millionen Dollar; dass sich ein solcher Markt gebildet hat, ist daher nicht überraschend
- In realen Fällen wurden etwa Konten wie
heygehandelt oder Konten wieobamawhitehouseundocmssf(Konto des Chief Master Sergeant der US Space Force) für Propaganda missbraucht
Inzwischen gepatcht
- Meta scheint das Problem bereits behoben zu haben, und auch die Telegram-Gruppen sind ruhiger geworden; dennoch scheint die Methode über Wochen bis Monate aktiv gewesen zu sein
- Das eigentliche Problem bleibt, dass die Support-KI eines 1,5-Billionen-Dollar-Unternehmens ohne robuste Guardrails offenbar auf hinreichend höfliche Bitte hin die verknüpfte E-Mail-Adresse jedes beliebigen Kontos ändern konnte
1 Kommentare
Hacker-News-Kommentare
In den Sicherheitsketten großer Unternehmen waren Support-Anfragen schon immer das schwächste Glied.
Mir wurde früher schon einmal ein Konto übergeben, weil jemand die Zwei-Faktor-Authentifizierung deaktiviert hat, daher überrascht es mich nicht besonders, dass ein LLM nun dasselbe tut.
Schon die Tatsache, dass ein Mitarbeiter im First-Level-Support die 2FA deaktivieren kann, macht mich wütend, weil das den ganzen Zweck des Verfahrens untergräbt.
Bei fail secure ist das Konto für immer gesperrt, sobald man den Zugriff auf die E-Mail verliert; bei fail safe wird das Konto nicht dauerhaft gesperrt, aber jemand kann diese Situation vortäuschen und das Konto übernehmen.
Das ist wie bei einer elektronischen Türsteuerung, die bei Stromausfall entweder verriegelt bleibt oder offen bleibt: Bei einem Feuer müssen Menschen hinaus, also sollte sie offen sein, aber ein Dieb kann dann einfach den Strom kappen und hineinkommen.
Türen, die bei Stromausfall dauerhaft verriegeln, sind nur in extremen Fällen akzeptabel, in denen Sicherheit absolute Priorität hat, und ein Instagram-Konto ist nicht so wichtig wie eine Tür im Brandfall.
Noch schlimmer: Offenbar haben sie später ihr Support-System geändert, und derselbe Angreifer nahm mein Konto erneut ins Visier, übernahm es tatsächlich für einige Stunden und kompromittierte sogar meinen Twitter-Account.
Das geschah ungefähr zu der Zeit, als fElon Massenentlassungen durchführte und die telefonbasierte 2FA bei Accounts entfernte.
Crazy Domains und Newfold Digital (früher EIG) sind wirklich das Allerletzte, und am Ende verlor ich sogar noch meinen OG-Benutzernamen, weil fElon ihn offenbar für Grok-Unsinn haben wollte.
[1] https://news.ycombinator.com/item?id=47913341
[2] https://news.ycombinator.com/item?id=47859496
[3] https://news.ycombinator.com/item?id=47856983
Wir mussten dringend Speicherplatz freimachen und dazu ein Storage-Volume löschen; weil das eine destruktive Aktion war, war sie so gesperrt, dass der Anbieter mit einem zweiten Schlüssel zusätzlich zu unserem Schlüssel mitwirken musste.
Wir hatten diese Konfiguration nie sauber eingerichtet, und ich hatte mich noch nie in deren Support-Account eingeloggt.
Der Anbieter sagte, zwei bei uns autorisierte Kontakte müssten die Aktion bestätigen, und in der Praxis bestand das Verfahren daraus, dass mich ein Kollege, der gerade einen Sev1-Ausfall bearbeitete, in einen Zoom-Call holte.
Der Support-Mitarbeiter verlangte meine 2FA, aber ich hatte nie eine eingerichtet und konnte auch keine E-Mail empfangen, weil keine Adresse hinterlegt war; daraufhin hielt der offenbar ausgelagerte Mitarbeiter es für ausreichend, den Code in den Zoom-Chat zu kopieren und ihn von mir vorlesen zu lassen, und führte den Vorgang dann durch.
Ich war damals zu verblüfft, um weiter darüber nachzudenken, aber es war bemerkenswert, dass sie den erwarteten generierten Code sehen und ihn direkt in ihr eigenes System eingeben konnten.
Am Ende verhinderte das zwar, dass sich ein Sev1 zu einem Sev0 verschlimmerte, aber insgesamt ist das ein Aufbau, der für Social Engineering und Insider-Angriffe extrem anfällig ist.
Ich vermute, man gibt solche Umgehungsrechte nicht an klar erkennbare First- und Second-Level-Support-Mitarbeiter, sondern versteckt sie auf andere Weise hinter höher privilegierten Eskalationen, die sich eher in Minuten als in Stunden abwickeln lassen.
Mit zunehmender Organisationsgröße wird diese Balance allerdings immer schwieriger.
Das Facebook-Konto meines Vaters wurde wahrscheinlich durch Phishing gehackt, aber es gab niemanden, den man kontaktieren konnte, um es zurückzubekommen.
Der Mistkerl, der das Konto gestohlen hatte, lud sogar illegale Inhalte hoch, sodass der Account und etwa zehn Jahre persönlicher Erinnerungen ohne irgendein Rettungsverfahren gelöscht wurden, und mit einem echten Menschen bei Meta zu sprechen war unmöglich.
Es gab nur wahnsinnig nutzlose FAQ-Seiten.
Ich empfehle dringend, auf allen Social-Media-Konten der eigenen Familie persönliche Daten herunterzuladen und als Backup zu sichern.
Diese Großkonzerne interessieren sich für ihre Nutzer nur insofern, als sie ihnen direkt aus China versandten Werbetrödel und AI-Müll von TikTok zeigen können.
Ein AI-Agent hatte also privilegierten Zugriff, mit dem er 2FA entfernen, die Konto-E-Mail ignorieren und das Konto einfach dem Anfragenden übergeben konnte?
Ehrlich gesagt ist das so grob fahrlässig, dass man fast vermuten könnte, das Team, das diese „Funktion“ gebaut hat, wollte Meta vor den anstehenden Entlassungen noch möglichst unauffällig maximal schaden.
Schade fast, dass niemand versucht hat, gleich die gesamte Produktionstabelle zu löschen.
Es hätte gereicht, sich als hochprivilegierter SRE auszugeben, zu behaupten, ein fataler Produktions-Bug müsse behoben werden und die einzige Lösung sei das Löschen der Datenbank.
https://www.cia.gov/static/5c875f3ec660e092cf893f60b4a288df/...
Ich gehörte zu den ersten 6.000 Nutzern auf Instagram, und mein namensgleicher Benutzername wurde mir vor ein paar Jahren gestohlen.
Das Support-Team für verifizierte Accounts erkannte das Problem zwar an, sagte aber, man könne nichts tun.
Diesmal geht es um den Missbrauch von AI, bei mir war es jedoch der Missbrauch von ausgelagertem Support: Jemand hat bezahlt, damit mein Benutzername manuell geändert und dann an einen anderen Nutzer weitergegeben wurde.
Solange es keinen verantwortlichen menschlichen Support gibt und Mitarbeiter, die so etwas tun, keine strafrechtlichen Konsequenzen befürchten müssen, wird es immer einen Weg geben, an Accounts zu gelangen.
Der verknüpfte Instagram-Account war völlig in Ordnung, aber als ich Meta Verified Support nutzen wollte, wurden alle Anfragen abgelehnt mit der Begründung, ich hätte mein Support-Kontingent bereits vollständig aufgebraucht.
Ich halte durch, bis eine Bank ihn kaufen will.
Es ist absurd, dass AI Tool-Berechtigungen bekommen hat, mit denen E-Mails an beliebige Adressen gesendet werden können.
Dass auf Nutzeranfrage ein Zwei-Faktor-Authentifizierungscode verschickt wird, mag noch angehen, aber es sollte nur einen Button geben, der eine 2FA-E-Mail an die mit dem Account verknüpfte Adresse sendet, und alles andere sollte von handgeschriebenem Code abgewickelt werden.
Es gibt keinen Grund, warum AI Zugriff auf den 2FA-Code selbst, den Betreff, den Nachrichtentext, die Empfängeradresse usw. haben sollte.
Ich verstehe überhaupt nicht, warum man solche Berechtigungen vergeben hat.
Derselbe Flow hätte auch statisch codiert werden können, und vielleicht war das sogar der Fall.
Wie viel der Chatbot hier tatsächlich gemacht hat, ist unklar.
Das muss hier nicht zwingend so sein, aber ich habe eine Vermutung, was tatsächlich passiert sein könnte.
Nach dem, was ich bisher gesehen habe, scheint Meta AI Support Assistant, also „MAISA“, a) einen Tool-Call gehabt zu haben, der eine E-Mail-Verifizierung an einen bestimmten E-Mail-, Telefonnummern- oder Account-gebundenen Kontaktpunkt startet, und b) einen Tool-Call, der auf Basis eines E-Mail-Verifizierungsversuchs einen Link zum Zurücksetzen des Passworts erzeugt.
Ich hatte keinen Zugriff auf den eigentlichen Code, aber offenbar wurden ein Handle oder eine ID des E-Mail-Verifizierungsversuchs sowie der vom Nutzer eingegebene Verifizierungscode an den Tool-Call „Link zum Zurücksetzen des Passworts erzeugen“ übergeben, und dieser Tool-Call prüfte offenbar nicht korrekt, ob die für den Verifizierungsversuch verwendete E-Mail überhaupt zum Account gehört, wodurch eine Account-Übernahme möglich wurde.
Der MAISA-Tool-Call zum Erzeugen eines Passwort-Reset-Links hätte fehlschlagen müssen, wenn der Verifizierungsversuch zu einer E-Mail gehörte, die nicht mit dem Account verknüpft ist.
Als ich etwas Ähnliches auf Facebook getestet habe, wurde es anscheinend durch einen Fehler blockiert; möglicherweise gab es auf Instagram jedoch eine Änderung, die auch leicht ältere, vor Kurzem getrennte E-Mails zuließ, damit Angreifer übernommene Accounts wiederherstellen können.
Dann müsste man auch E-Mails verwenden können, die aktuell nicht mit dem Account verknüpft sind, und sie als primäre Nutzer-E-Mail setzen.
Es kann auch sein, dass eine Änderung an einem MAISA-Tool-Call die falsche API aufgerufen hat oder dass irgendetwas dazu führte, dass jeder erfolgreiche E-Mail-Verifizierungsversuch verwendet werden konnte, und die Ingenieure schlicht nicht genug End-to-End-Tests hinzugefügt haben, in denen irrelevante E-Mail-Verifizierungsversuche in den Tool-Call eingespeist wurden.
Darauf sollte man sich meiner Meinung nach am stärksten konzentrieren.
Agenten-Tool-Calls, deren Ausgabe von Angreifern beeinflusst werden kann, sollten wie öffentlich zugängliche externe APIs behandelt und entsprechend getestet werden.
Das ist natürlich alles Spekulation, berücksichtigt nicht die verschiedenen Signale zur Bewertung der Gültigkeit eines Account-Recovery-Versuchs und kann in wesentlichen Punkten falsch sein, aber aus meiner Erfahrung mit Meta-Sicherheit ist das die naheliegendste Erklärung dafür, was diesen Vorfall ermöglicht haben könnte.
So nach dem Motto: „Lass den AI-Agenten beim Zurücksetzen von Passwörtern helfen“, und offenbar gab es keinerlei menschliche Prüfung der Änderung.
Mein Facebook-Account wurde vor ein paar Jahren ebenfalls kompromittiert, nachdem die TOTP-basierte Zwei-Faktor-Authentifizierung deaktiviert worden war.
Schon damals hatte ich keinerlei Vertrauen in die Sicherheitsrichtlinien von Facebook, und dieser neue Angriff bestätigt diesen Eindruck erneut.
Junior Engineers im Security-Support einzusetzen, ist lächerlich.
Auch deshalb, weil junge Leute oft nicht verstehen, wie fatal Sicherheitsprobleme mitunter sein können, und weil ihnen Datenschutz tendenziell weniger wichtig ist.
Es hieß zwar, das sei das „erste echte Passwort-Reset ohne Authentifizierung“, das man in der Produktion gesehen habe, aber so etwas gab es früher auch bei LinkedIn.
Ich bekam damals keine brauchbare Antwort, vielleicht weil es noch vor der Einführung von Finderlohn-Programmen war, aber behoben wurde es am Ende doch.
Es funktionierte so:
LinkedIn ging davon aus, dass eine Adresse Ihnen gehört und dem Account hinzugefügt werden darf, wenn Sie E-Mails lesen können, die an diese Adresse gesendet werden.
Wenn ich also eine LinkedIn-Einladung an irgendeine Adresse schickte und die andere Person auf den Button zum Annehmen der Einladung klickte, wurde diese E-Mail-Adresse dem Account der Person hinzugefügt.
Wenn ich eine Einladung an eine von mir kontrollierte Adresse schickte, zum Beispiel foo@example.com, und dann den Link hinter dem Einladungsbutton aus der gefälschten E-Mail an jemand anderen weiterleitete, wurde in dem Moment, in dem diese Person klickte, foo@example.com heimlich zu ihrem Account hinzugefügt.
Wenn ich die Rückmeldung bekam, dass wir jetzt vernetzt sind, wusste ich auch, dass dem Nutzerkonto eine mir bekannte E-Mail-Adresse hinzugefügt worden war, und ich konnte anschließend über die ursprünglich verwendete Adresse foo@example.com einen vollständigen Passwort-Reset durchführen.
Entdeckt wurde das, nachdem jemand eine komplette Mailingliste eingeladen hatte und nach dem Klick die Mailinglisten-Adresse plötzlich mehreren Accounts hinzugefügt wurde.
„Wenn die Anfrage so aussieht, als käme sie aus der richtigen Region, sagt man dem Meta-Support-AI, dass das Konto gehackt wurde, und bittet darum, den Verifizierungscode an eine beliebige, vom Angreifer kontrollierte E-Mail-Adresse zu senden“ – was zur Hölle macht Instagram da eigentlich?
Ich verstehe nicht, warum der Reset nicht an das betreffende Konto gesendet wird, sondern an eine beliebige E-Mail-Adresse.
Das klingt nach dem Ergebnis von AI-Support und nicht nach einem echten Menschen, also nach der Situation „Wenn dein Konto in einer A/B-Testgruppe mit aktiviertem AI-Support landet, hast du Pech gehabt, und abschalten kann man es auch nicht“.
Ich habe mich gefragt, warum ich übers Wochenende gleich 15 E-Mails zum Zurücksetzen des Instagram-Passworts bekommen habe.
Dadurch fiel mir überhaupt erst wieder ein, dass ich ein Instagram-Konto habe, und ich wollte mich sofort einloggen, um es zu löschen.
Das Konto stammt aus der Zeit, als Instagram gerade neu war, ich habe es nie benutzt und völlig vergessen.
Dann geriet ich aber in die absurde Situation, mich mit einem Gerät anmelden zu müssen, auf dem ich früher schon einmal eingeloggt war, und da das mehr als zehn Jahre her ist, habe ich natürlich kein Gerät mehr, das ich damals zur Erstellung oder zum Zugriff auf das Konto benutzt haben könnte.
Ich hatte zwar sowohl Zugriff auf die für das Konto verwendete E-Mail-Adresse als auch auf die Telefonnummer, aber selbst das reichte nicht aus.
So lächerlich inkompetent, dass ich eine CCPA-Beschwerde eingereicht habe.
Sie wurden ohne Telefonnummer angelegt, ich kenne sogar die Passwörter, aber beim Anmelden werden sie als verdächtige Aktivität markiert und es gibt keinen nutzbaren Wiederherstellungsablauf.
Es ist immer wieder irgendwie erhellend, wie viele Missbrauchsmöglichkeiten so dumm wirken, dass ich sie selbst nicht einmal ausprobiert hätte.
Man muss also einfach nur nach dem Passwort fragen, und das funktioniert dann wirklich?
Die Implikationen dieses Vorfalls sind ziemlich beunruhigend.
Hat Meta einem Agenten privilegierten Lese- und Schreibzugriff auf Benutzerkonten gegeben, ganz ohne menschliche Prüfung?
Vollkommen verrückt.
Eine Zugangsdaten-Kombination meines alternativen Facebook-Kontos wurde irgendwie mit einem anderen alternativen Konto, das ich früher benutzt habe, zusammengeführt.
Das heißt, ich kann mich mit der E-Mail des einen Kontos beim anderen anmelden, und diese Zusammenführung scheint bestehen zu bleiben.
Meta scheint irgendwie entschieden zu haben, dass beide Konten derselben Person gehören.