Cloudflare gegen Perplexity: Eine Auseinandersetzung, die jeder Webnutzer kennen sollte

🚨 Vorfallübersicht

Am 4. August 2025 hat Cloudflare die KI-Suchmaschine Perplexity öffentlich als „Verletzer von Webstandards“ kritisiert.

⚔️ Aussagen der beiden Seiten

Cloudflare-Position: „Stealth-Crawling"

• Perplexity umgeht das Crawling-Sperren-System in 4 Schritten
  1. Versuch des Zugriffs als offizieller Bot
  2. Bei Blockierung sofort taktisch wechseln
  3. Tarnung als Chrome-Browser
  4. Wiederholter Zugriff mit wechselnden IP-Adressen
• Zusammenfassung aus den von robots.txt blockierten Seiten unter der Hand sammeln

Perplexity-Replik: „Nutzer-Proxy-Agent"

• Kein traditioneller Crawler, sondern eine KI für die Verarbeitung von Nutzeranfragen
• Inhalte werden nicht gespeichert und nur für Live-Antworten genutzt
• Behauptung, Cloudflare habe den BrowserBase-Verkehr falsch interpretiert

💡 Autorenmeinung: Cloudflare ist plausibler

1. Identitätsverschleierung ist kein legitimes Verhalten
2. robots.txt ist ein seit 1994 etablierter Webstandard
3. ein parasitärer Mechanismus, der die Einnahmen der Originalseiten abzieht
4. Es gibt Vorbilder wie OpenAI, die Standards einhalten

🔮 Ausblick

• Überarbeitung von robots.txt für das KI-Zeitalter
• Aufbau einer KI-Crawler-Authentifizierungsstruktur
• Zunehmende Kommerzialisierung von Inhaltszugriffen
• Verstärkte rechtliche Regulierung