Google veröffentlicht robots.txt-Parser als Open Source [C++-Bibliothek]

Google hat Code veröffentlicht, den das Unternehmen seit den 90er-Jahren intern verwendet. Auch ein Tool zum Testen von Regeln wurde zusammen mit dem Code freigegeben.