Wie man Web-Bots erkennt 101
(antoinevastel.com)Verhaltensbasierte Erkennung:
-
Serverseitig: Seiten pro Sitzung, Anzahl der Anfragen, Zeitabstände pro Seite
-
Clientseitig: Zeitabstände bei Mausbewegungen/Klicks/Scrollen/Tastatureingaben
Fingerprint-Erkennung:
-
Passives TCP oder TLS
-
Browser: Bestimmte Eigenschaften von Headless-Browsern prüfen (PhantomJS, Puppeteer usw.), prüfen, ob UA und Realität voneinander abweichen. Red Pills (prüfen, ob es sich um eine VM-Umgebung handelt)
Und schließlich: CAPTCHAs
3 Kommentare
Am Ende ist es doch wieder die Holzhammermethode.
Dann wird wohl bald auch ein Bot erscheinen, der sogar die in diesem Artikel angesprochenen Punkte gelöst hat, haha.
Der Teil, in dem geprüft wird, ob der UA echt ist, ist interessant.
Wenn
eval.toString().lengthaufgerufen wird, geben FF und Safari 37, Chrome 33 und IE 39 zurück.Also wird überprüft, ob die im UA gesendeten Informationen tatsächlich zu einem echten Browser passen, und wenn beides nicht übereinstimmt, wird es als Bot eingestuft.