Die meisten Googlebots sind gefälscht

Ein erheblicher Teil der Fälle, in denen angeblich Googlebot so viele Anfragen sendet, dass eine Website ausfällt, geht nicht auf Google zurück, sondern auf externe Bots, die sich als Googlebot ausgeben
Der HTTP-User-Agent kann vom Anfragenden beliebig gesetzt werden, daher garantiert allein die Zeichenfolge Googlebot/2.1 im Log nicht, dass es sich um einen echten Googlebot handelt
Bots, die sich als Googlebot ausgeben, nutzen den Namen, um Sperren zu umgehen; möglicherweise handelt es sich auch um eine einzelne groß angelegte Kampagne eines bösartigen Crawlers, der Server verschiedener Hosting-Anbieter einsetzt
Ob es sich um einen echten Googlebot handelt, muss mit dem Befehl host oder anhand der von Google veröffentlichten IP-Bereiche geprüft werden; auch IPs, deren Inhaber als Google LLC eingetragen ist, können Google-Cloud-Adressen sein und erfordern eine zusätzliche Prüfung
Es gibt keine Daten, die belegen, dass mehr als die Hälfte des gesamten Googlebot-Traffics gefälscht ist, aber Googlebot-Traffic, der Dienste stört, scheint überwiegend von Bots zu stammen, die sich als Googlebot ausgeben

Missverständnisse rund um Googlebot-Traffic

Betreiber beschweren sich, dass der Google-Suchcrawler durch übermäßigen Traffic Websites ausfallen lässt oder sich wie ein DDoS verhält
Solcher destruktiver Traffic kann jedoch statt von Google von gefälschten Anfragen stammen, die von anderen Akteuren unter dem Namen Googlebot gesendet werden
Allein weil in Server-Logs der String Googlebot auftaucht, lässt sich Google nicht als Quelle des Traffics festmachen

Anfragen, die wie Googlebot aussehen, enthalten in der Regel etwa folgenden Wert
- User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Derselbe String kann auch in nginx-Logs auftauchen, aber der User-Agent-Header kann vom Anfragenden frei auf jeden gewünschten Wert gesetzt werden
Ein User-Agent ist keine verifizierte Authentifizierungsinformation, sondern eine freiwillige Selbstbezeichnung; daher kann jeder behaupten, Googlebot zu sein

Hinter der Täuschung stehen vermutlich Akteure, die den Googlebot-User-Agent verwenden, um bestehende Bot-Sperren zu umgehen
Die IP in einem Beispiel-Log gehört nach Prüfung zu einem von Virtual Machine Solutions LLC bereitgestellten Server und nicht zu Google
Die Nachahmung von Googlebot ist schon lange eine gängige Methode; zuletzt wurde beobachtet, dass ihr Umfang zugenommen hat
Chris Siebenmann vermutet, dass nicht vielmehr eine alte Methode gleichzeitig an vielen Orten wieder populär wurde, sondern eher eine groß angelegte Kampagne eines einzelnen bösartigen Crawlers, der sich bei vielen Hosting-Anbietern zahlreiche Server beschafft hat

Laut Googles Dokumentation zur Verifizierung von Googlebot kann man einige host-Befehle ausführen oder die IP mit den von Google veröffentlichten Bereichen abgleichen
Die meisten großen Crawler veröffentlichen IP-Listen, aber konkretes Format und Betrieb unterscheiden sich
JAFAR ist ein Vorschlag zur Standardisierung von Crawler-IP-Listen; das Standardisierungsverfahren läuft noch
Auch wenn als IP-Inhaber Google LLC angezeigt wird, kann es sich um eine Google-Cloud-Hosting-Adresse handeln und eine gesonderte Verifizierung ist nötig
- Jüngste Fälle solcher Nachahmung über Google Cloud konnten nicht bestätigt werden
Falls die Verifizierung ergibt, dass ein echter Googlebot übermäßig crawlt, sollte man Googles Dokumentation zum Umgang mit übermäßigem Crawling befolgen

Selbst wenn man einfach nur ein zusätzliches Feld ergänzt, gibt es keinen Grund, warum böswillige Akteure diesen Wert ehrlich setzen würden
Das sogenannte evil bit aus RFC 3514 persifliert genau den Punkt, dass bösartige Akteure solche Standards nicht einhalten
Web Bot Auth HTTP Signatures ist komplexer als ein separates Feld, soll aber mithilfe kryptografischer Signaturen einen vertrauenswürdigen User-Agent ermöglichen

Es gibt keine Daten, die belegen, dass unter dem gesamten Googlebot-Traffic tatsächlich mehr als die Hälfte gefälscht ist
Allerdings scheinen die meisten Fälle von Googlebot-Traffic, die Websites massiv beeinträchtigen, von gefälschtem Googlebot auszugehen
Echte Googlebots arbeiten erfahrungsgemäß sehr stabil, während gefälschte Bots so lange Anfragen senden können, bis eine Website ausfällt