Vielleicht sollten Sie Ihre Smart-Home-Geräte überprüfen

• Von den rund 2,67 Millionen eindeutigen IPs, die der Anubis-Honeypot bei Sourceware gesammelt hat, standen 89,3 % auf keiner bestehenden Bedrohungsliste; allein mit bekannten Blocklisten lässt sich der Großteil der Scraper-Aktivitäten nur schwer identifizieren
• Durch das Einfügen semantisch ungültigen HTMLs und eines „Don’t click me“-Links auf der Challenge-Seite werden schlecht gebaute Scraper, die diesem Link folgen, zu bedeutungslosen Inhalten und weiteren Links gelenkt
• Von 2.678.193 eindeutigen IPs waren 286.161 Adressen (10,7 %) in der Datenbank registriert; davon fielen 98,6 % in die Kategorie „abuse“. Der gesamte Traffic erstreckt sich über 229 Länder und 21.116 ASNs
• Der Traffic könnte auch von infizierten Smart-Home-Geräten stammen, die an Proxy-Netzwerken teilnehmen; allein anhand der gesammelten Daten lassen sich der tatsächliche Gerätetyp oder eine Infektion jedoch nicht belegen
• Um Scraping zu begegnen, das nicht auf bestimmte Länder oder Netzwerke beschränkt ist, braucht es eine Web Application Firewall wie Anubis; eine grundlegende Lösung erfordert zugleich eine koordinierte globale Reaktion

---

Scraper, die bestehende Bedrohungslisten übersehen

• Beim Aufbau der Anubis reputation database stammten 80–90 % der von der Honeypot-Funktion protokollierten Zugriffe von IPs, die auf keiner bestehenden Liste für Bedrohungsmonitoring standen
• Die von Sourceware in den vergangenen Monaten gesammelten Daten enthalten 2.678.193 eindeutige IPs
  • Es gibt keine als Nicht-IP-Einträge oder Duplikate ausgeschlossenen Adressen
  • In der Datenbank registrierte Adressen: 286.161, also 10,7 % der Gesamtmenge
  • Nicht registrierte Adressen: 2.392.032, also 89,3 % der Gesamtmenge
• Die vollständige Eingabetabelle ist unter Appendix A: Full tables for the reputation database input verfügbar

Klassifizierung und Anbieter registrierter IPs

• Unter den in der Datenbank registrierten Adressen macht die Kategorie „abuse“ mit 282.182 Einträgen 98,6 % aus
  • datacenter: 7.918 (2,8 %)
  • proxy: 2.562 (0,9 %)
  • vpn: 1.264 (0,4 %)
  • crawler: 46
  • tor: 17
• Nach separaten Flags gezählt ergeben sich is_datacenter 7.918, is_proxy 2.562, is_vpn 1.264 und is_crawler 46
• Es gab 126 Anbieter; netshield stellte mit 237.945 Einträgen (83,2 %) den größten Anteil
  • bitwire 96.539 (33,7 %), magicteamc 26.475 (9,3 %), ipinsights 17.378 (6,1 %), threathive 8.422 (2,9 %)
  • Darüber hinaus sind unter anderem netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud und OVHcloud enthalten
  • Da auf eine einzelne IP mehrere Kategorien oder Anbieterinformationen zutreffen können, übersteigt die Summe der Prozentwerte 100 %

Verteilung über Länder und Netzwerke hinweg

• Die gesamten Adressen wurden in 229 Ländern beobachtet und sind damit nicht auf eine bestimmte Region beschränkt
  • Nach Anzahl der Adressen liegen Brasilien mit 270.937, Indien mit 185.091, Saudi-Arabien mit 120.372, Mexiko mit 95.449 und die Türkei mit 87.258 vorn
  • Die Registrierungsquoten in der Datenbank lagen unter anderem bei Bangladesch 29,9 %, der Ukraine 27,6 %, dem Irak 21,9 %, Venezuela 21,3 % und Pakistan 20,0 %
  • In den USA waren 3.347 von 40.828 Adressen registriert, was 8,2 % entspricht
• Verglichen damit, dass ISO 3166-1 249 Länder umfasst und davon 193 UN-Mitgliedstaaten sind, ist die Scraper-Aktivität weltweit verbreitet
• Die Adressen verteilen sich auf 21.116 ASNs
  • Bei AS55836 Reliance Jio Infocomm Limited waren 1.749 von 57.029 registriert, also 3,1 %
  • Bei AS45899 VNPT Corp waren es 6.831 von 56.910, also 12,0 %
  • Bei AS14593 Space Exploration Technologies Corporation waren es 4.597 von 31.569, also 14,6 %
  • Bei AS9541 Cyber Internet Services waren es 3.696 von 21.386, also 17,3 %
  • In der Tabelle sind die übrigen 18.069 ASNs ausgelassen

Wie der Anubis-Honeypot Scraper einfängt

• Um die Verbreitung des Scraper-Problems zu messen, fügt Anubis in alle Challenge-Seiten folgendes semantisch ungültige HTML ein

/init">Don't click me

• Bei normaler Verarbeitung sollte dieser Link ignoriert werden; folgt man ihm jedoch, wird Inhalt zurückgegeben, der günstig zu erzeugen ist und keine brauchbaren Informationen enthält
  • Der zurückgegebene Inhalt enthält wiederum zwei Links zu weiteren Seiten
• Diese Struktur ist darauf ausgelegt, schlecht geschriebene Scraper statt auf die geschützte Website in den Honeypot zu lenken und dabei das Ausmaß des Problems zu messen

Mögliche Infektion von Smart-Home-Geräten und Grenzen der Gegenmaßnahmen

• Ein erheblicher Teil des beobachteten Traffics könnte von infizierten Smart-Home-Geräten stammen, die Traffic für Proxy-Netzwerke bereitstellen
• Das bleibt jedoch eine Vermutung; die gesammelten Daten belegen nicht direkt den tatsächlichen Gerätetyp oder eine Infektion einzelner IPs
• Um ein über Länder und ASNs verteiltes Problem spürbar zu beeinflussen, ist eine gleichzeitig koordinierte globale Reaktion erforderlich
• Da das Scraping ausreichend weit verbreitet ist, besteht Bedarf, eine Web Application Firewall wie Anubis zu betreiben
• Da sich Fakten und Umstände seit der Veröffentlichung geändert haben könnten, sollten unklare oder möglicherweise falsche Punkte überprüft werden, bevor voreilige Schlüsse gezogen werden

[GN⁺]

Meinungen auf Lobste.rs

• script type=ignore ist ein genialer Einfall. Tools wie elinks und auch das von Scrapern verwendete headless Chrome ignorieren es vollständig, der Inhalt selbst kann aber an die Heimatbasis übermittelt und in eine Job-Queue aufgenommen werden.
• Die eigentlich interessante Frage wird nicht behandelt: Wie führt man die Prüfung durch, und was sollte man tun, wenn feindseliges Verhalten entdeckt wird?
  Besonders interessiert mich, wie man erkennt, ob ein infiziertes Gerät mit einem Command-and-Control-(C&C-)Server kommuniziert.
  • Wenn man nicht einmal weiß, wie man alle möglichen Smart-TV-Modelle erfasst, ist es erst recht schwierig, eine Methode zur Prüfung jedes Modells auf Malware vorzuschlagen. Der einzige halbwegs praktikable Rat ist, keine illegalen Apps, die kostenloses Fernsehen versprechen, zu installieren.
  • Ohne ein gewisses Maß an Network Engineering scheint das schwierig zu sein. Die zuverlässigste Methode wäre, am Router den Traffic pro Quellgerät im LAN zu analysieren.
    Als Maßstab könnten etwa das gesamte Traffic-Volumen oder die Anzahl der verschiedenen Ziel-IPs dienen, zu denen Verbindungen aufgebaut wurden.
• Ich frage mich, was hier mit der Kategorie abuse gemeint ist.
  • Da sind mehrere Bedeutungen vermischt, die man eigentlich trennen müsste; üblicherweise meint es aber Ziele, die als Absender von E-Mail-Spam bekannt sind oder in FireHOL auftauchen. Man kann in dieser Datei nach abuse suchen: https://github.com/TecharoHQ/reputationdb/…