Robots.txt-Parser für NodeJS

• Entwickelt mit dem Ziel, mit dem IETF-Entwurf des Robots Exclusion Protocol kompatibel zu sein

• Unterstützte Regeln

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Pfad: Abgleich mit Wildcard(*) und EOL($)

[xguru]

• Robots.txt von Wikipedia https://de.news.hada.io/topic?id=90