Google startet öffentliche Diskussion über ergänzendes Protokoll zu robots.txt für AI-Forschung

• robots.txt wurde vor fast 30 Jahren entwickelt
  • eine einfache und transparente Möglichkeit für Web-Publisher, zu steuern, wie Suchmaschinen Inhalte crawlen
• Angesichts der rasanten Entwicklung von AI & Forschung wird ein stärker machine-readable Ansatz zur Steuerung von Inhalten für nötig gehalten
• Um ein ergänzendes Protokoll zu diskutieren, wurde eine öffentliche Diskussion gestartet, zu der Mitglieder der Web- und AI-Community eingeladen sind
• Eine Teilnahme an der Diskussion ist nach Registrierung auf der Website möglich