Die robots.txt von Wikipedia

Eine unterhaltsame robots.txt mit Kommentaren – fehlerhaft arbeitende Bots, Bots, die sich nicht an die Regeln halten, Capture-Bots, Google-Werbebots, der problematische rekursive Modus von wget und mehr.

[rtyu1120]

Die Stelle „Doesn't follow robots.txt anyway, but...“ ist irgendwie lustig, haha

[iolothebard]

Kann man wirklich als Best Practice für robots.txt bezeichnen!!

Vielen Dank für die guten Informationen.