- Bei einer aktuellen Analyse des Web-Traffics wurde festgestellt, dass ein Webbot namens Thinkbot den meisten Traffic verursachte
- Der Bot ignoriert
robots.txt, und selbst seine Selbstbeschreibung ist äußerst nachlässig und läuft im Grunde auf „Wenn es Probleme gibt, blockieren Sie die IP“ hinaus
- Innerhalb eines Monats nutzte er 74 verschiedene IPs, verteilt auf 41 Netzwerkblöcke
- Die Untersuchung ergab, dass all diese Netzwerkblöcke Tencent gehörten, was den Verdacht aufkommen ließ, ob dies mit einer möglichen Abwälzung der Kosten der Great Firewall zusammenhängt
- Letztlich wurden umfangreiche Blockierregeln hinzugefügt, die mehr als 470.000 IPs umfassen
Das Auftauchen von Thinkbot
- Bei der Analyse des Web-Traffics fiel auf, dass ein Webbot namens Thinkbot einen Spitzenanteil einnahm
- Die User-Agent-Zeichenkette war wie folgt auffallend nachlässig
> “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In_the_test_phase,_if_the_Thinkbot_brings_you_trouble,_please_block_its_IP_address._Thank_you.)”.
- Außer dem Hinweis „Wenn es in der Testphase Probleme gibt, blockieren Sie bitte die IP“ gab es nicht einmal eine Referenz-URL
- Das Crawling erfolgte, ohne die Datei
robots.txt in irgendeiner Weise zu respektieren
- Selbst wenn man als Website-Betreiber den Bot blockieren wollte, nutzte er nicht nur eine einzelne IP, sondern 74 IP-Adressen
- Eine Rückverfolgung mit ASN-Abfrage zeigte, dass der Traffic aus 41 Netzwerkblöcken stammte
- Das bedeutet, dass eine einfache Sperre einer einzelnen IP zur Abwehr nicht ausreicht
Verbindung zu Tencent
- Diese 41 Netzwerkblöcke gehörten alle Tencent
- Der Autor vermutet, dass die chinesische Regierung dies dulden oder sogar fördern könnte und dass es als Versuch interpretiert werden kann, die Kosten der Great Firewall auf die Außenwelt abzuwälzen
- Innerhalb Chinas ist das Sammeln von Inhalten erlaubt, und selbst wenn es von außen blockiert wird, ist das aus Sicht der CCP kein Problem, während andere Länder und Websites, die eine Blockierung versuchen, die Last tragen müssen
Firewall-Sperrmaßnahmen
- Der Autor fügte die Tencent-Netzwerkblöcke direkt zu den badbots-Firewall-Regeln hinzu
- Beispiele:
43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 usw.
- Insgesamt wurden gut 40 Netzwerkblöcke hinzugefügt; sie decken zwar nicht sämtliche Tencent-IP-Bereiche ab, umfassen aber mehr als 476.590 eindeutige IPs
Fazit und Metapher
- Der Autor beschreibt diese Situation als die Realität, dass man im Internet nichts Gutes mehr haben kann
- Es ist ein Beispiel, das über die bloße Abwehr von Bot-Traffic hinaus den allgemeinen Vertrauensverlust im Internet-Ökosystem und unvermeidliche defensive Reaktionen zeigt
Noch keine Kommentare.