Die Zukunft des Betrugs ist bereits da – nur noch nicht gleichmäßig verteilt
(manishearth.github.io)- LLMs können für jede Person eigene Vorwände wie Bewerbungsgespräche, familiäre Notfälle, Bank-E-Mails oder Romanzen erzeugen, um maßgeschneiderte Betrügereien durchzuführen, und nach einer Kontoübernahme sogar langfristige Überwachung und Folgeangriffe anschließen
- Bisher ließ sich Betrug in kostengünstige Massenversand- und teure zielgerichtete Formen einteilen, doch LLMs schließen die Lücke dazwischen und machen zielgerichtete Angriffe günstig wiederholbar
- Eine Arbeit von 2024 schätzte die Kosten von LLM-basierten Spear-Phishing-E-Mails auf etwa 4 Cent, und obwohl ein Bewerbungsbetrugsszenario komplexer ist, könnte es bei der LLM-Leistung von 2026 lohnend sein
- Heuristiken wie „natürlich geschriebener Text“, „solide Web-Präsenz“ oder „Bestätigung per Anruf oder Videoanruf“ waren Stellvertreter für Kosten und Fähigkeiten, doch Sprachklonen und Echtzeit-Deepfakes untergraben ihre Vertrauenswürdigkeit
- Zur Abwehr reicht es nicht, einfach allen Nachrichten stärker zu misstrauen; nötig sind neue Praktiken wie mündliche Familien-Passwörter, Bestätigung über getrennte Kanäle, bevorzugtes Vertrauen in selbst initiierte Kanäle und Hardware-2FA
Ein von LLMs erzeugtes Szenario für Bewerbungsbetrug
- Ein Jobsuchender erhält auf LinkedIn ein sehr passendes Stellenangebot und nimmt an einem Interviewprozess teil, der wie ein gutes Angebot eines bekannten Unternehmens wirkt
- Vor dem Interview loggt er sich zum Unterschreiben einer NDA auf einer Plattform ein, die wie ein Legal-SaaS-Dienst aussieht, mit einem Ablauf im Stil von „Sign in with Google/iCloud“
- Der Login-Bildschirm wirkt echt, und das vom Nutzer eingegebene Passwort sowie der 2FA-Ablauf mit „auf dem Gerät auf Ja tippen“ werden vom Angreifer auf der anderen Seite für den echten Konto-Login verwendet
- Der Angreifer speichert das Session-Cookie und lässt es für den Nutzer wie einen normalen Login aussehen, um den Kontozugriff zu verbergen
- Das anschließende Interview und die Absage dienen als Inszenierung, damit das Opfer keinen Verdacht schöpft
- Monate später stellt das Opfer Identitätsdiebstahl, Kreditkartenumsätze in seinem Namen, teilweisen Abfluss aus dem Wertpapierkonto sowie den Verlust des Zugriffs auf E-Mail und mehrere Online-Konten fest
Mögliche Angriffskette nach der Übernahme
- Der Angreifer behält dauerhaft Zugriff auf E-Mail und Konten und überwacht die Verhaltensmuster des Nutzers
- Warn-E-Mails zu den angegriffenen Konten werden vorab gefiltert, damit Benachrichtigungen das Opfer nicht erreichen
- Cloud-Dateien werden heruntergeladen, und das Konto wird auch für Logins auf anderen Websites genutzt
- Mit den Daten des Opfers werden Kreditkarten eröffnet
- Gelder aus Finanzkonten abzuziehen ist wegen der Schutzmechanismen moderner Finanzsysteme nicht leicht
- Online-Banküberweisungen können erkannt werden, dauern mehrere Tage, und wegen KYC-Regeln lassen sich Zielkonten möglicherweise nachverfolgen
- Bank-Websites nutzen oft 2FA und Login-Benachrichtigungen
- Trotzdem kann bei langfristigem unentdecktem Zugriff auf Wertpapierkonten gezielt werden, die seltener geprüft werden
- Es kann ein Konto entdeckt werden, auf das Gehalt automatisch überwiesen wird
- Nach Zugriff per Passwort-Reset lassen sich mit kleinen Überweisungen Nutzungsmuster aufbauen
- Informationen aus dem Kalender wie Urlaubszeiten können genutzt werden, um einen Zeitpunkt zu wählen, an dem das Opfer den Angriff schwerer bemerkt
- Wenn klar wird, dass der Betrug bald auffliegt, kann das Opfer aus den Konten ausgesperrt werden, sodass es schwerer nachvollziehen kann, was passiert ist
Wo sich die Kostenstruktur von Betrug verändert
- Bisher fiel Betrug meist in zwei Kategorien
- Massenversand: billig, leicht auszuführen und auf weniger versierte Menschen ausgerichtet
- Gezielte Angriffe: teuer und ausgefeilt, gerichtet auf Personen mit hohem Wert oder organisatorischen Rechten
- Dass Spam-Betrug oft absichtlich plump wirkt, liegt daran, dass erfahrenere Menschen früh abspringen und spätere Reaktionskosten sinken
- Technikaffine Menschen waren gegenüber Massenbetrug relativ sicher, allein durch grundlegende Computer-Sicherheitspraktiken und ein Verständnis der Fähigkeiten von Systemen
- Raffinierte Betrugsformen, die auf Privatvermögen zielen, gibt es zwar tatsächlich, aber die meisten gingen davon aus, selbst kaum zum Ziel zu werden
- LLMs verändern diese polarisierte Struktur der Angreiferfähigkeiten
- Die Arbeit von 2024 schätzt die Kosten von durch LLMs ausgeführtem Spear-Phishing auf etwa 4 Cent pro E-Mail
- Das Bewerbungsbetrugsszenario ist komplexer und teurer, könnte sich aber mit den weiterentwickelten LLMs von 2026 lohnen
- Betrüger können Tausende Betrugsfälle gleichzeitig betreiben und personenbezogen recherchieren, um individuelle Vorwände zu erstellen
Welche Fähigkeiten LLMs Betrügern geben
- Aufgaben, die früher pro Ziel erheblichen Aufwand durch qualifizierte Menschen erforderten, können LLMs nun billig erledigen
- Recherche über das Opfer und Auswahl des optimalen Ansatzes
- Personalisierte Kommunikation, die sich an Reaktionen anpasst
- Sprachklonen vertrauenswürdiger Personen wie Familienmitglieder
- Nahezu Echtzeit-Deepfakes für Videoanrufe
- Aufbau einer glaubwürdigen gefälschten Web-Präsenz
- Echtzeitüberwachung kompromittierter Ressourcen und darauf abgestimmte Ausweitung des Angriffs
- Zielsuche und Selektion
- Umgehung signaturbasierter Spam-Filter
- Auffinden und Verknüpfen bekannter CVEs in ungepatchter eingesetzter Software
- Diese Fähigkeiten existieren bereits und werden sich voraussichtlich weiter verbessern
- Betrug, der zu Token-Kosten läuft, lässt sich wie eine
for-Schleife wiederholen, und Skalierung macht Strategien möglich, die bei einzelnen Betrugsfällen schwierig waren
Drei Veränderungen, die Skalierung ermöglicht
- Skalierung ermöglicht Geduld
- Für ein menschliches Team ist es schwer, bei einer Einzelperson Monate oder Jahre zu warten, aber mit LLMs lassen sich viele Menschen gleichzeitig bearbeiten und Operationen über längere Zeit unauffällig halten
- Mehrere Betrugsmaschen können auch zeitlich versetzt parallel laufen
- Skalierung ermöglicht Kombination
- Kleine Betrügereien können genutzt werden, um Geldkuriere zu rekrutieren, was dann größere Geldabflüsse ermöglicht
- Die Methode aus dem Film The Sting, mit vielen kleinen Betrügereien glaubwürdige Institutionen nachzuahmen, könnte heute zu weit geringeren Kosten möglich werden
- Skalierung schafft neue Ziele
- 1.000 übernommene Konten sind 1.000 authentifizierte Positionen innerhalb der jeweiligen Plattformen
- Stellen, die Plattformen bisher als „Lücke, deren Nutzen größer ist als die gelegentlichen Betrugskosten“ akzeptierten, werden bei gleichzeitiger Ausnutzung über 1.000 Konten sofort zu schwerwiegenden Schwachstellen, die geschlossen werden müssen
- Die Rechnung hinter „The optimal amount of fraud is nonzero“ kann sich unter massenhafter gleichzeitiger Ausnutzung ändern
- Um solche Angriffe zu kombinieren, braucht es noch technisches Können, aber wenn wiederverwendbare Werkzeuge auf Betrüger-Märkten verkauft werden, könnten „Script Kiddies für Betrug“ entstehen
- Einige Betrüger verfügen vermutlich bereits über solche Fähigkeiten, aber sie sind noch nicht so verbreitet, dass sich die Heuristiken von Einzelpersonen und Unternehmen vollständig angepasst hätten
Warum bestehende Heuristiken schwächer werden
- Wenn Menschen von Unbekannten kontaktiert werden, suchen sie nach der Person, verifizieren Familienkontakte per Telefon oder Videoanruf und achten auf den Punkt, an dem ein Gespräch in eine folgenreiche Forderung umschlägt
- Ein Teil dieser Heuristiken war ein Stellvertreter für Kosten
- Flüssig geschriebener, personalisierter Text war ein Signal dafür, dass sich eine echte Person Zeit genommen hatte
- Eine starke Web-Präsenz war schwer zu fälschen und kostspielig aufzubauen
- Dahinter stand die Annahme, dass Betrüger für nur eine Person nicht so viel Aufwand treiben würden
- Andere Heuristiken setzten Begrenzungen der Fähigkeiten voraus
- Früher war es schwer, die Stimme eines Familienmitglieds am Telefon natürlich nachzuahmen
- Bei einem Videoanruf erwartete man, dass die Person real sei und bei Bedarf von der Polizei identifiziert werden könnte
- LLMs und Deepfakes erschüttern beide Grundlagen: Kosten und Fähigkeiten
- Dadurch müssen Menschen nicht nur mehr tun, um Betrug zu vermeiden, sondern auch, um sicher zu sein, was überhaupt echt ist
- Wenn ein Familienmitglied in einer anderen Stadt um eine dringende Überweisung bittet, müssen Kontoübernahme, abgefangene Kommunikation und die Möglichkeit von Deepfakes gemeinsam bedacht werden
- Es kann zusätzliche Verifikation auf dem Niveau nötig sein, die Person direkt zu besuchen oder jemand anderen vor Ort um Bestätigung zu bitten
Auch institutionelle Heuristiken geraten ins Wanken
- Nicht nur Einzelpersonen, auch Finanzinstitute und Regulierung stützen sich auf Heuristiken
- Der US-Verbraucherschutz im Bankwesen zieht eine harte Linie danach, wer die Überweisung autorisiert hat
- Wenn jemand Zugriff auf ein Konto erhält und eine betrügerische Überweisung ausführt, ersetzt die Bank in diesem Modell den Schaden
- Wenn der Nutzer selbst zur Überweisung verleitet wurde, kann zwar eine Straftat gemeldet werden, aber nicht zwingend muss jemand den Verlust ersetzen
- Diese Unterscheidung ergibt in einer Welt Sinn, in der „Passwortdiebstahl“ leichter ist als gezielter manueller Überzeugungsbetrug, gerät aber ins Wanken, wenn LLMs die Kosten gezielter Überredung senken
- Das Vereinigte Königreich verabschiedete 2024 ein Gesetz, das Banken verpflichtet, Kunden zu entschädigen, die durch Täuschung zu einer Überweisung gebracht wurden
- Wenn Banken jedoch für alle Betrugsschäden aufkommen müssen, werden die Kosten womöglich übermäßig auf sie verlagert, und sie könnten sich entscheiden, mit Menschen mit hohem Betrugsrisiko keine Geschäftsbeziehung einzugehen
Neue Verteidigungsweisen, die jetzt nötig sind
- Es reicht nicht, einfach jede E-Mail und jede Stimme am Telefon extrem zu misstrauen
- Die bisherigen Heuristiken waren nun einmal Stellvertreter zum Erkennen von Signalen, die heute billig gefälscht werden können
- So wie es falsch gewesen wäre, in der Ära nach Wikipedia an veralteten Vertrauensregeln für Schulaufgaben festzuhalten, kann auch hier eine Korrektur in die falsche Richtung erfolgen
- Nach der Informationsflut im Internet brauchte es neue Heuristiken wie Quellenprüfung und Gegenprüfung
- Auch für Betrug im LLM-Zeitalter braucht es neue Heuristiken
- Es kann wirksam sein, auf das gemeinsame Grundmuster von Betrug zu achten
- Dringlichkeit, Geheimhaltung und die Forderung, ungewohnte Kanäle zu nutzen, tauchen in vielen Betrugsformen wiederholt auf
- Selbst wenn die Formulierungen ausgefeilter werden, bleibt die Struktur bestehen, dass etwas verlangt wird
- Für Familien kann es hilfreich sein, mündliche Passwörter zu vereinbaren
- Falls es kein Passwort gibt, kann ein vergangenes Ereignis zur Verifikation genutzt werden, das wahrscheinlich nicht in öffentlichen Aufzeichnungen steht
- Weniger technikaffinen Familienmitgliedern kann man sagen: „Wenn ein ernster, dringender oder geheimer Anruf angeblich von mir kommt, sei misstrauisch, leg auf und prüfe es über einen anderen Kanal.“
- Die Echtheit eingehender Kommunikation ist schwer vertrauenswürdig zu machen, aber Kanäle, die der Nutzer bewusst selbst initiiert, sind relativ verlässlicher
- Eine E-Mail, die an eine bestimmte Adresse geschrieben wird, erreicht in der Regel genau dieses Postfach
- Ein Anruf an eine bestimmte Nummer erreicht in der Regel genau dieses Gerät
- Dagegen lassen sich E-Mail-
from:-Header und angezeigte Absendernummern leicht fälschen
Sicherheitspraktiken und künftige Anpassung
- Hardware-2FA kann helfen, viele Werkzeuge von Betrügern auszubremsen
- FIDO2/WebAuthn bindet, wo verfügbar, die Website-Domain in den Austausch kryptografischer Nachweise ein, sodass Phishing-Seiten Signaturen nicht einfach weiterreichen können
- Es gilt als stärkerer Schutz als SMS oder Authenticator-Apps
- Es ist nicht realistisch, nie betrogen zu werden, aber man kann zu einem Ziel werden, das teurer und mühsamer anzugreifen ist
- Auch Verteidiger können LLM-Fähigkeiten nutzen
- Mozilla hat Firefox mit Mythos redgeteamt und sieht in solchen Werkzeugen eine reale Möglichkeit, alle Sicherheitslücken zu finden
- Android hat kürzlich impersonated call detection eingeführt
- Institutionen und Systeme können im Lauf der Zeit bessere Schutzmaßnahmen entwickeln, aber das braucht Zeit und könnte zu einem Wettrüsten werden
- Kurzfristig ist mit einem starken Anstieg von Betrug zu rechnen, und Einzelpersonen sollten darüber nachdenken, was dieser Wandel für sie selbst, ihre Freunde und ihre Familie bedeutet und wie sie dabei helfen können
1 Kommentare
Lobste.rs-Kommentare
Bekommt das Opfer nicht eine E-Mail-Warnung über einen neuen Login? Kann man nicht auch die angemeldeten Sitzungen sehen?
Angemeldete Sitzungen wären zwar sichtbar, aber nicht jeder prüft das sofort, direkt nachdem er zur Anmeldung aufgefordert wurde. Bei Google-Konten ist es nicht selten, dass man aus verschiedenen Gründen gelegentlich erneut zur Anmeldung aufgefordert wird
Es gibt Gegenmaßnahmen, etwa genauer auf die URL-Leiste zu achten, aber das Setting eines Bewerbungsprozesses ist selbst darauf ausgelegt, die Wachsamkeit zu senken
Und um es zu betonen: Der Betrug, mit dem der Originalartikel einsteigt, ist nur ein Beispiel für Betrug, der sich heute viel leichter automatisieren lässt als früher, und nicht die einzige Art, über die man sich Sorgen machen sollte
Es wird angenommen, dass sich alle Bausteine zusammensetzen lassen, nur weil es sie in gewissem Maß gibt, aber große Sprachmodelle sind in Sachen Zuverlässigkeit noch nicht gut genug, damit so etwas verlässlich funktioniert