Offenes Web durch AI-Scraper-Angriffe immer schwerer aufrechtzuerhalten

• Web-Scraping-Angriffe zum Sammeln von Trainingsdaten für große Sprachmodelle und ähnliche Systeme nehmen seit über einem Jahr zu und verursachen inzwischen eine so hohe Verkehrslast, dass es für unabhängige Websites schwierig wird, ihre Offenheit zu bewahren
• Die Angreifer nutzen Residential Proxies aus Millionen gewöhnlicher und mobiler Geräte, senden pro IP nur wenige Anfragen und tarnen den User-Agent, wodurch klassische IP-Sperren wirkungslos werden
• Malware, anfällige Media-Streaming-Geräte, kostenlose VPNs und App-SDKs bilden diese Proxy-Netze; nach Googles Zerschlagung von IPIDEA und NetNut ging das Angriffsvolumen zeitweise zurück, stieg später aber wieder an
• Websites wehren sich mit Anubis-Proof-of-Work, CAPTCHA, Login- oder Paywall-Hürden und Tools zur Datenvergiftung, doch LWN konzentriert sich darauf, die Website zu optimieren und die Kosten während eines Angriffs zu begrenzen, ohne echte Leser sowie Suchmaschinen oder das Internet Archive zu behindern
• Während die Kosten für Scraper-Abwehr und Nutzerverifikation auf das gesamte Web abgewälzt werden, könnten unabhängige Websites ohne nachhaltige Lösung hinter Schutzmauern verschwinden und das offene Internet beschädigt werden

---

Immer größer werdende Scraper-Angriffe

• Das Problem der Datensammlung für das Training großer Sprachmodelle und verwandter Projekte, das Anfang 2025 behandelt wurde, hat sich auch mehr als ein Jahr später weiter verschärft
• Die Anfragen unbekannter Akteure an Websites haben ein beispielloses Niveau erreicht, und durch den übermäßigen Traffic wird es zunehmend schwieriger, das offene Web aufrechtzuerhalten

Residential Proxies mit Millionen IPs

• Die Angriffe senden über mehrere Stunden koordinierte Anfragen von Millionen eindeutiger IP-Adressen, wobei jede Adresse die Website nur zwei- oder dreimal oder noch seltener aufruft
• Vom Angreifer kontrollierte Angaben wie der User-Agent sind frei erfunden und tarnen jede Anfrage als Zugriff eines gewöhnlichen Menschen mit Webbrowser
• Bots laden meist keine Bilder oder CSS und liefern so Hinweise zur Unterscheidung von echten Nutzern, doch bis die Erkennung abgeschlossen ist, wird die betreffende Adresse nicht erneut verwendet, sodass nachträgliche IP-Sperren wirkungslos sind
• Der Traffic stammt überwiegend aus privaten und mobilen Netzwerken, die von zentralen Command-and-Control-Knoten gesteuert werden
  • Auf gewöhnlichen Geräten installierte Software empfängt Befehle vom Kontrollknoten, ruft Webseiten ab und liefert die Daten zurück
  • Ein erheblicher Teil davon arbeitet ohne Wissen oder Zustimmung der Gerätebesitzer; solche missbrauchten Systeme werden Residential Proxies genannt

Kriminelle Proxy-Netze und infizierte Geräte

• Ein Typ sind kriminelle Betreiber, die Scraper auf Systemen ausführen, die sie per Malware übernommen haben
• Google ging Anfang des Jahres mit der Zerschlagung des IPIDEA-Botnetzes gegen ein solches Netzwerk vor und veröffentlichte Informationen über dessen Funktionsweise
  • Der Zeitpunkt der Abschaltung von IPIDEA fällt mit dem Zeitpunkt zusammen, zu dem der Scraper-Traffic bei LWN stark zurückging
  • Einige Monate war es vergleichsweise ruhig, danach nahm der Angriffsdruck wieder zu
• Zuletzt wurden Media-Streaming-Geräte als wichtiger Träger bösartiger Scraping-Software identifiziert
  • Einige Geräte waren bereits in der Lieferkette infiziert
  • Andere wurden mit schwacher Sicherheit verkauft und ließen sich nach dem Kauf leicht kompromittieren

Kommerzielle Proxy-Netze über kostenlose VPNs und App-SDKs

• Ein anderer Typ tritt als mehr oder weniger legitimer Anbieter auf und verkauft „ethisch beschaffte“ IP-Adressen
• Bright Data ist ein typischer Anbieter, der damit wirbt, Zugriffsregeln und Traffic-Limits von Websites umgehen zu können
  • Nutzer eines „kostenlosen“ VPNs müssen Bright Data erlauben, Traffic über ihr Gerät zu leiten
  • Smartphones und andere Geräte mit diesem VPN werden zu Endpunkten von Bright Datas Residential-Proxy-Netz und für Angriffe auf Websites eingesetzt
• Ähnliche Anbieter stellen Bibliotheken bereit, die App-Entwickler in ihre Produkte einbauen können, und zahlen Entwicklern teils Geld dafür, dass sie den Netzwerkzugang ihrer Nutzer weiterreichen
  • Ein Anbieter fragte LWN, ob er Werbung für sein SDK auf LWN schalten könne, doch das Gespräch war schnell beendet
  • Die Betreiber reichen von Unternehmen, die mit Begriffen wie „GDPR-konform“ einen legalen Anschein erzeugen wollen, bis zu offen unethischen Akteuren
• Solche Proxy-Betreiber können Code ausführen, der auf die Ressourcen von Netzwerken mit Millionen angeschlossener Geräte zugreift; deshalb kann man nicht davon ausgehen, dass diese Befugnis nur für Web-Scraping genutzt wird

Modellunternehmen und Nutzer von Proxy-Netzen

• Auch bekannte Unternehmen, deren Kerngeschäft die Modellentwicklung ist, scrapen das Web selbst
  • Traffic, der diesen Unternehmen leicht zugeordnet werden kann, kennzeichnet seine Herkunft eindeutig im User-Agent
  • In der Regel werden Kontrollmechanismen wie robots.txt beachtet
  • Selbst Texte aus dem Jahr 2003 werden wiederholt gesammelt, als würde geprüft, ob sie kürzlich geändert wurden
  • Sie erzeugen jedoch keinen Traffic in einem Ausmaß, das über Millionen Systeme kaum tragbar wäre, und sind daher nicht das größte Problem
• Wer für Residential-Proxy-Angriffe bezahlt, ist nicht klar
  • Es gibt keine bestätigten Belege dafür, dass führende Modellunternehmen diese Netzwerke nutzen
  • Diese Unternehmen legen weder offen, wie sie ihre Modelle mit Daten versorgen und woher ihre Trainingsdaten stammen, noch zeigen sie Respekt gegenüber Content-Erstellern oder den betrieblichen Sorgen der Betroffenen
• Hinter jedem öffentlich sichtbaren Modell könnten viele weitere Modelle stehen, die nicht nach außen treten
  • Viele Unternehmen könnten eigene Modelle bauen, in der Erwartung, durch einen Vorsprung im AI-Wettbewerb enorme Unternehmenswerte zu schaffen
  • Auch nicht öffentliche Regierungsstellen verschiedener Staaten könnten eigene Modelle und Trainingsdaten aufbauen wollen
  • Ebenso ist denkbar, dass große kriminelle Organisationen eigene Modelle wollen
• Da AI-Tools als Waffen wahrgenommen werden, läuft ein Wettrüsten, in das das gesamte Internet hineingezogen wird

Abwehrmaßnahmen zum Schutz des offenen Internets

• Website-Betreiber führen verschiedene Schutzmechanismen ein, um Angriffe abzuwehren und gleichzeitig die Auswirkungen auf echte Nutzer möglichst gering zu halten
• Anubis ist weit verbreitet und blockiert Scraper, indem es von Besuchern Proof of Work verlangt
• Kommerzielle Dienste zeigen einen Button zum „Nachweis, dass man ein Mensch ist“, andere Websites verlangen CAPTCHAs wie die Auswahl von Feldern mit Ampeln oder das Zusammensetzen von Puzzleteilen
• Einige Websites haben zentrale Funktionen hinter Login- oder Paywall-Schranken verlegt und vergiften mit Tools wie iocaine aktiv die Daten, die Scraper erhalten
• Die Kosten für Aufbau und Betrieb dieser Schutzmaßnahmen sowie die Belastung für Nutzer, die sie passieren müssen, sind eine schwere Last, die Scraper und ihre Auftraggeber der ganzen Welt aufbürden

LWNs Verteidigungsansatz und Grenzen

• LWN war zuletzt Ziel des bislang stärksten Scraper-Angriffs, konnte den Traffic dank seiner Schutzmaßnahmen aber so abfangen, dass die meisten echten Leser davon nichts bemerkten
• Konkrete Abwehrmaßnahmen werden nicht offengelegt, weil dies Angreifern nützliche Informationen liefern würde; auch auf Seiten der Verteidigung läuft ein Wettrüsten
• Vorrang hat, die Auswirkungen auf echte Leser so gering wie möglich zu halten
  • Anubis wird nicht eingesetzt, weil es den Zugriff auf die Website verzögert und Leser stört
  • Es scheint wahrscheinlich, dass Scraper Anubis letztlich umgehen werden; entsprechende Anzeichen gibt es bereits
  • Wenn Millionen fremder Geräte eingesetzt werden können, ist Proof of Work kein großes Hindernis
• Auch legitime Suchmaschinen und Organisationen wie das Internet Archive sollen nicht ausgesperrt werden
  • Eine explizite Allowlist nur für dominante Suchmaschinen würde die Stellung eines monopolistischen Anbieters mit ohnehin problematischer Servicequalität noch weiter stärken
  • LWN ist es bislang gelungen, normalen Zugriff ohne eine Allowlist für bestimmte Suchmaschinen aufrechtzuerhalten
• Teile der Website werden aggressiv optimiert, und während eines Angriffs werden kostenintensive Aufgaben minimiert
  • Anonyme Leser können die Auswirkungen solcher Maßnahmen gelegentlich bemerken, eingeloggte Nutzer jedoch nicht
  • In Angriffssituationen mit aktivierten Schutzmaßnahmen können die Antwortzeiten mitunter sogar besser sein als im Normalbetrieb
• Die aktuellen Maßnahmen werden nicht als dauerhafte Lösung betrachtet; für den Zeitpunkt, an dem ihre Wirkung nachlässt, muss bereits die nächste Reaktion geprüft werden

Zerschlagung von NetNut und vorübergehende Ruhe

• Google gab am 2. Juli bekannt, gemeinsam mit dem FBI und anderen Stellen das Residential-Proxy-Netz NetNut zerschlagen zu haben
• Nach der Maßnahme scheint das Niveau der Scraper-Angriffe etwas gesunken zu sein, doch aus früheren Erfahrungen ergibt sich, dass diese Ruhe wahrscheinlich nicht lange anhält
• Der Google Play Store will auf NetNut infizierte Apps prüfen
• Warum es für Apps mit Residential-Proxy-Funktion so leicht ist, in großen App-Stores gelistet zu werden, beantworten die wichtigsten App-Store-Betreiber weiterhin nicht

Ein Internet, das hinter Mauern verschwindet

• Bevor das gesamte Internet hinter Schutzmauern verschwindet und das offene Netzwerk, das Kreativität gefördert hat, verloren geht, werden nachhaltigere Lösungen benötigt
• Die Branche, die diese Angriffe auslöst, nimmt Inhalte unabhängiger Websites mit und kümmert sich nicht darum, wenn die Websites daran zugrunde gehen; dieselbe Haltung zeigt sich auch gegenüber Planet und Wirtschaft
• Solange für Unternehmen, die große Sprachmodelle und verwandte Technologien betreiben, nicht einmal minimale ethische Standards gelten, wird dieses Verhalten anhalten, und Website-Betreiber werden sich weiter selbst verteidigen müssen

[GN⁺]

Lobste.rs-Kommentare

• Unter all den offen dubiosen Geschäftsmodellen, von denen ich in letzter Zeit erfahren habe, waren Residential Proxies am schockierendsten.
  Ich habe auf https://spur.us/blog/smart-tv-apps-residential-proxy-sdks ausführlicher darüber gelesen, und es fällt mir schwer zu glauben, dass das legal ist. Das sollte in dieselbe Kategorie wie Botnets fallen und als legalisiertes Botnet bezeichnet werden

  • Das ist wirklich ein Geschäftsmodell, das jede Kritik verdient. Man sagt zwar, dass nur verifizierte und genehmigte Partner genutzt werden, aber mir fällt kein einziger legitimer Einsatzzweck für Residential Proxies ein. Gibt es tatsächlich einen?
  • Bei einer Regulierung von Residential Proxies muss man vorsichtig sein. Wenn man dafür gezielt Regeln schafft, trifft das weit mehr als nur Residential-Proxy-Botnets

• Ein weiteres Opfer sind Link-Checker. Es wird ziemlich schwierig zu prüfen, ob eine Website tote Links enthält.
  Wenn ich Zeit hätte, würde ich vermutlich versuchen, das Projekt Common Crawl dafür zu nutzen, zu überprüfen, ob Inhalte noch erreichbar sind

  • Auch Link-Vorschauen, die Chat-Apps auf Seiten des Absenders erzeugen, sind betroffen. Ich habe mich gefreut, diese Funktion zu gajim, einem XMPP-Client, beizutragen, aber in der Praxis werden Anfragen für Link-Vorschauen so oft von „Bestätigen Sie, dass Sie ein Mensch sind“-Seiten blockiert, dass es geradezu deprimierend ist

• Am Ende werden also alle teuren Vorgänge wie das Auflisten der Historie eines GitHub-Repositories hinter Authentifizierungsbarrieren versteckt, und der Rest wird statisch erzeugt und über ein CDN ausgeliefert

  • Wegen Bedenken hinsichtlich Zentralisierung und staatlicher Überwachung sollten CDNs das letzte Mittel sein, und man sollte zunächst versuchen, aus dem Server selbst mehr Leistung herauszuholen.
    Auf Anwendungsebene hilft es eindeutig, mehr Inhalte statisch zu erzeugen, Datenbankabfragen zu reduzieren und Caching zu nutzen. Wir hatten lange den Luxus, uns um Performance keine großen Sorgen machen zu müssen, aber jetzt müssen selbst kleine Websites stärker darauf achten, und das ist immer noch viel besser, als überall Cloudflares „Überprüfung Ihres Browsers“ zu sehen.
    Ich hatte schon Probleme auf einem kleinen VPS wegen der traditionellen Art, wie Apache für jede Anfrage einen eigenen Prozess forkt. Ich bin mit LAMP-Servern aufgewachsen und Apache ist vertraut und bequem, aber es nutzt die Hardware nicht besonders effizient, und am Ende ist genau das wichtiger. Ich habe keine belastbaren Daten, aber ich vermute, dass ein Server wie Caddy Last besser verkraftet, und plane deshalb, beim nächsten Server-Upgrade umzusteigen
  • Bei meinem Forgejo-Server war es genauso. Ich habe versucht, den anhaltenden bösartigen Traffic mit Anubis zu handhaben, aber ich habe nie vollständig verstanden, wie man die Konfiguration genau auf diesen Traffic abstimmt, und ich mochte es auch nicht, selbst mit den langsamen Authentifizierungsaufgaben konfrontiert zu werden.
    Ich habe auch fail2ban ausprobiert, aber mit zunehmendem Umfang kam es nicht mehr richtig hinterher. Am Ende ließ ich es von Cloudflare mit den Sicherheitsregeln erledigen, die ich in diesem Blogbeitrag beschrieben habe. Ich war ungern langfristig von Cloudflare abhängig, aber als ich die CPU-Auslastungsgrafik weiter unten im Beitrag sah, habe ich meine Meinung geändert
  • Andererseits passen Git-Repositories und Crawler extrem schlecht zusammen. Dynamisch erzeugte Links verursachen eine kombinatorische Explosion und schaffen damit improvisierte Crawler-Fallen, weshalb jeder auch nur halbwegs brauchbare Crawler URLs mit langen hexadezimalen Zeichenfolgen im Pfad aktiv meidet.
    Obwohl das für Git-Hosts enorme Kosten verursacht, setzen überraschend viele Hosts in robots.txt nicht fest, dass nicht tief in Repositories hinein gecrawlt werden soll

• Die Stelle „Es gab Anfragen, die Maßnahmen zu erläutern, die zum Schutz der Website ergriffen wurden, aber aus offensichtlichen Gründen möchte ich das nicht im Detail diskutieren. Schon auf diesem Niveau herrscht ein Wettrüsten“ tut weh.
  Ich war in diesem Kampf ebenfalls ziemlich erfolgreich, aber wegen der Tragödie der Allmende würde die Veröffentlichung der sehr einfachen Maßnahmen, die ich eingesetzt habe, ihre Wirksamkeit mindern. Es ist ein wirklich interessantes Thema, und ich habe sogar originelle Ideen, über die ich gern bloggen würde, aber ich kann es nicht, was ich bedauere