Wie man bei Web-Crawling Bot-Erkennung umgeht

Gilt zwar für Selenium, lässt sich aber auch anderswo anwenden

1. Navigator.Webdriver-Flag entfernen

2. Bestimmte Zeichenfolgen in ChromeDriver / GeckoDriver entfernen

3. Auflösung, User-Agent usw. ändern

4. Den tatsächlichen URL-Fluss verwenden. Unsichtbare Links nicht besuchen

5. Die IP mit einem Proxy ändern

6. Zufällige Verzögerungswerte verwenden

7. Keinen Headless-Browser verwenden (Prüfung über die Notification-Berechtigung möglich)

[xguru]

Im Fall 1 gibt es bei Puppeteer Seiten, die selbst dann noch als Bot erkannt werden, wenn man nur true/false setzt.

Daher ist es besser, die Eigenschaft wie unten komplett zu löschen.

const newProto = navigator.__proto__;

delete newProto.webdriver;

navigator.__proto__ = newProto;

[louis]

Das ist ein guter Punkt :) Ich habe den Code ersetzt