robots.txt wurde vor fast 30 Jahren entwickelt
- eine einfache und transparente Möglichkeit für Web-Publisher, zu steuern, wie Suchmaschinen Inhalte crawlen
- Angesichts der rasanten Entwicklung von AI & Forschung wird ein stärker machine-readable Ansatz zur Steuerung von Inhalten für nötig gehalten
- Um ein ergänzendes Protokoll zu diskutieren, wurde eine öffentliche Diskussion gestartet, zu der Mitglieder der Web- und AI-Community eingeladen sind
- Eine Teilnahme an der Diskussion ist nach Registrierung auf der Website möglich
Noch keine Kommentare.