- Kunden aller Tarife können automatisierten Traffic in Search, Agent und Training unterteilen und jeweils erlauben oder blockieren. Dadurch werden feinere Richtlinien möglich als mit dem bisherigen pauschalen Blockieren von AI-Bots.
- Als Klassifizierungskriterium dient nicht, ob AI genutzt wird, sondern welche Aktion auf der Website ausgeführt wird und wofür Inhalte verwendet werden. Für Mehrzweck-Crawler werden alle relevanten Regeln angewendet; Cloudflare empfiehlt, Crawler nach Zweck zu trennen.
- Ab dem 15. September 2026 werden auf werbefinanzierten Seiten neuer Domains Training und Agent standardmäßig blockiert, Search hingegen erlaubt. Für Mehrzweck-Crawler wie Googlebot, Applebot und BingBot gilt die restriktivste Regel.
- In BotBase für Enterprise Bot Management lassen sich Klassifizierungen und Erkennungs-IDs bekannter Bots und Agenten suchen. Außerdem werden die Content-Use-Stufen
immediate, reference und full sowie das use-Signal in robots.txt eingeführt.
- Verified bedeutet nicht mehr automatisch erlaubt. Über transitives Vertrauen auf Basis des
Forwarded-Headers aus RFC 7239 sollen Betreiber und die Art der Content-Nutzung auch über Vermittlungsebenen hinweg weitergegeben werden.
Warum AI-Traffic nach Verwendungszweck gesteuert werden sollte
- Früheres Web-Crawling beruhte auf einer Beziehung, bei der Websites Inhalte bereitstellten und im Gegenzug Search-Traffic erhielten. AI-Training bringt hingegen das Problem mit sich, dass Inhalte übernommen werden, ohne den Website-Betreibern Wert zurückzugeben.
- Cloudflare hat vor einem Jahr die Ein-Klick-Option Block AI Bots und den Pay-Per-Crawl Marketplace eingeführt.
- Content-Besitzer wollen ihre Originale schützen und vergütet werden, doch ein pauschales Blockieren aller Automatisierung reicht dafür kaum aus.
- Kleine Websites können vor der Wahl stehen, AI-Training zu erlauben, um in der Suche sichtbar zu werden, oder Training zu blockieren und dafür Auffindbarkeit zu verlieren.
- Das begünstigt bestehende Suchanbieter, die denselben Bot für Suche und Training verwenden.
- Für neue Anbieter, die den Wettbewerbsabstand verringern wollen, entsteht ein Anreiz, Erkennung zu umgehen.
- Mit Diensten wie Google Search, die Antworten direkt auf der Ergebnisseite liefern, wird wichtiger, was ein Bot tut, speichert und weiterverbreitet, als ob er AI ist.
Klassifizierung in Search, Agent und Training
- AI-zentrierte Use Cases, die alle Kunden verwalten können, werden in drei Kategorien unterteilt.
- Search: Inhalte werden vorab gesammelt oder indexiert, um später auf Fragen zu antworten; Website-Betreiber können Referral-Traffic oder eine entsprechende Vergütung erwarten.
- Agent: Führt Echtzeitaufgaben im Auftrag eines Menschen aus. Dazu gehören Chat-Sammelbots wie ChatGPT-User sowie Browser-Agenten, bei denen Gemini oder Claude Chrome steuern.
- Training: Ruft Inhalte ab, um Modelle zu trainieren oder feinzujustieren; die Daten werden dauerhaft in AI-basierte Strukturen aufgenommen und zur Leistungsverbesserung genutzt.
- Da ein einzelner Crawler mehrere Zwecke haben kann, werden alle zutreffenden Klassifizierungen gemeinsam nachverfolgt.
- Betreibern, die Suchindizes aufbauen, Agentenaufgaben ausführen und Modelle trainieren, wird empfohlen, drei zweckspezifische Crawler zu trennen, damit Besuchszweck und Zugriffsrechte klar ersichtlich sind.
- Automatisierte Aktionen wie Anzeigenverifizierung, Feed-Abruf oder Agenten-Transaktionen werden ebenfalls separat klassifiziert; für Search, Agent und Training stellt Cloudflare jedoch Funktionen bereit, die alle Website-Betreiber direkt verwalten können.
Steuerung für alle Tarife und neue Standardwerte
- Das bisherige Preset Block AI Bots blockierte vor allem Single-Purpose-Bots für Modelltraining. Die neuen Einstellungen bieten Kontrollen pro Search, Agent und Training bis hin zum Free-Tarif.
- Ab dem 15. September 2026 gelten für neu bei Cloudflare registrierte Domains mit werbefinanzierten Seiten folgende Standardwerte:
- Training und Agent werden standardmäßig blockiert.
- Search wird standardmäßig erlaubt.
- Werbung ist ein Monetarisierungssignal, das darauf ausgelegt ist, von Menschen beim Besuch einer Seite gesehen zu werden; daher werden Training und Agent blockiert, weil sie menschliche Aufmerksamkeit umgehen können.
- Search wird standardmäßig erlaubt, weil es dem Verhalten am nächsten kommt, Besucher zur Website zu leiten.
- Für Mehrzweck-Crawler, die Search und Training zugleich durchführen, hat die restriktivste Regel Vorrang.
- Bei Kunden, die Training blockieren, werden auch Googlebot, Applebot und BingBot blockiert.
- Das gilt sowohl für die neuen AI-Traffic-Management-Optionen als auch für den bestehenden Dienst Block AI Bots.
- Bestandskunden können vor dem 15. September in den Security settings die Änderung ablehnen, um ihre bisherigen Einstellungen für Training-Crawler beizubehalten, die auch Search ausführen.
Bot-Sichtbarkeit und Verhaltensklassifizierung durch BotBase
- Die zu Enterprise Bot Management hinzugefügte BotBase ist eine durchsuchbare Datenbank bekannter automatisierter Traffic-Quellen, einschließlich Verified Bots und Agenten.
- Im Cloudflare-Dashboard lassen sich die vollständige Liste der Verified Bots und Agenten sowie die neuen Klassifizierungen einsehen.
- Traffic bestimmter Bots kann gefiltert werden.
- Erkennungs-IDs können kopiert und in Security-Regeln genutzt werden.
- Die dedizierte Ansicht ist über die Bot Management configuration card erreichbar.
- Anfangs liegt der Fokus auf Sichtbarkeit; für die zweite Hälfte 2026 ist geplant, BotBase zu einem Verwaltungszentrum auszubauen, mit dem bekannte automatisierte Content-Zugriffe auf Websites direkt gesteuert werden können.
- BotBase weist Bots je nach den Aktionen, die sie auf einer Website ausführen können, eine oder mehrere Kategorien zu.
- Search: Crawling für Sichtbarkeit in Suchergebnissen
- Agent: Agenten, die Seiten auf Anweisung eines Menschen besuchen
- Training: Crawling für Modelltraining oder Fine-Tuning
- Transact: Zahlungsaktionen im Auftrag von Nutzern
- Data Collection: Preiserfassung, Wettbewerbsinformationen, Drittanbieter-Analysen
- Security Testing: Schwachstellen-Scans und Penetrationstests
- SEO: SEO-Crawling, Site-Audits, Accessibility-Prüfungen
- Ads Verification: Prüfung von Anzeigenplatzierungen und Erkennung von Anzeigenbetrug
- Social / Link Preview: Link-Vorschauen sozialer Plattformen und Messaging-Apps
- Feed Fetching: RSS-Reader, Podcast-Aggregatoren, Newsfeed-Bots
- Monitoring & Operations: Uptime-Monitoring, Webhooks, Statusprüfungen
Content-Use-Stufen und robots.txt-Signal
- Cloudflare entwickelt eine Funktion, mit der gesteuert wird, wie Bots gesammelte Inhalte speichern und wiederverwenden; dies erfolgt über Stufen der Content-Nutzung (content use).
immediate: Interagiert nur und speichert oder verwendet nichts wieder.reference: Indexiert, zitiert Auszüge und verlinkt auf das Original; der Standardwert.full: Kann zusammenfassen und reproduzieren.
- Durch die Kombination von Bot-Klassifizierung und Content-Use-Stufen lassen sich Richtlinien wie „Search, SEO und Ads Verification erlauben, aber nur bis
reference“ erstellen.
- Der Zugriff kann auf Ebene von Verhaltensgruppen entschieden werden, ohne Regeln für einzelne Bots zu schreiben.
- In robots.txt wird ein
use-Signal getestet, das Content Signals erweitert.
use=immediateuse=referenceuse=full
- Der Content-Use-Wert in robots.txt setzt keine direkte Blockierung durch, sondern übermittelt die Präferenz des Website-Betreibers.
- Bei Kunden, die in der bestehenden verwalteten robots.txt
search=yes,ai-train=no genutzt haben, wird use=reference hinzugefügt.
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
- BotBase verfolgt auch die Art der Content-Nutzung jedes Bots. Bots, die das Signal missbrauchen, verlieren ihren Verified-Status und werden nicht mehr erlaubt.
- Bots, die Inhalte vollständig reproduzieren, können derzeit keinen Verified-Status erhalten.
Die veränderte Bedeutung von Verified
- Früher wurden alle Verified Bots standardmäßig erlaubt; dieser Maßstab war in Bot Fight Mode und den Regelvorlagen von Enterprise Bot Management abgebildet.
- Nicht verifizierte Bots werden weiterhin standardmäßig blockiert, doch Verified Bots werden nicht mehr automatisch erlaubt.
- Verified bedeutet, dass ein Bot in der jeweiligen Kategorie zulässig ist; ob er tatsächlich Zugriff erhält, hängt davon ab, ob die entsprechende Kategorie, etwa Search, erlaubt wurde.
- Damit ein Bot-Betreiber den Verified-Status erhält, muss er zwei Bedingungen erfüllen.
- Er muss seine Identität ehrlich ausweisen.
- Er darf die Zugriffsrechte, die er auf Grundlage dieser Ehrlichkeit erhält, nicht missbrauchen.
- Cloudflare entwickelt außerdem Tools für Bot-Betreiber, mit denen sie verwalten können, ob sie in der Cloudflare-Klassifizierung korrekt abgebildet sind.
Transitives Vertrauen über Vermittlungsplattformen hinweg
- Automatisierungen oder Agenten werden nicht unbedingt direkt von dem Unternehmen betrieben, das sie erstellt hat; eine einzelne Entwicklerplattform kann Anfragen für Tausende Betreiber ausführen, von Unternehmen bis hin zu einzelnen Entwicklern.
- Die Beziehung von Website-Betreiber über Bot-Unternehmen bis zum Endnutzer wird als transitives Vertrauen (transitive trust) definiert.
- Cloudflare schlägt vor, den
Forwarded-Header aus RFC 7239 zu nutzen, um Betreiberinformationen in Requests aufzunehmen, die im Proxy-Prozess sonst verloren gehen.
Forwarded: for="openai"
- Auch die Content-Use-Stufe kann mitgegeben werden.
Forwarded: for="openai";use="reference"
- Wenn eine Website einen bestimmten Betreiber erlaubt, kann dieselbe Richtlinie auch für Requests gelten, die über mehrere vertrauenswürdige Vermittlungsebenen eingehen. Details zum Format stehen in der Dokumentation zur Web-Bot-Authentifizierung.
- Da mehr als 20 % der Webdomains hinter Cloudflare liegen, kann der Verlust des Vertrauensstatus für Betreiber ein wirksames Abschreckungsmittel sein.
- Wenn Bot- und menschlicher Traffic vermischt sind, kann transitives Vertrauen nur auf Nutzer angewendet werden, die ihre Identität offenlegen können.
- Kleine Traffic-Quellen benötigen Datenschutz.
- Unternehmen, die Datenschutzversprechen einhalten wollen, benötigen alternative Bausteine wie private Rate Limiting.
Umsetzungsstand und Betriebsprinzipien
- Die neuen AI-Traffic-Optionen stehen derzeit allen Bestandskunden zur Verfügung und können in den zone Settings konfiguriert werden.
- Die neuen Standardwerte und das Klassifizierungssystem zielen auf eine Struktur ab, in der Website-Betreiber entscheiden, wer Inhalte wie nutzt, und Betreiber automatisierter Systeme umso mehr Zugriff erhalten, je transparenter sie ihren Zweck offenlegen.
- Während sich Web- und Automatisierungs-Traffic verändern, werden Detailrichtlinien weiter angepasst; das Prinzip, die Wahlfreiheit und das Vertrauen der Content-Ersteller in den Mittelpunkt zu stellen, bleibt bestehen.
1 Kommentare
Hacker-News-Kommentare
Googlebot nutzt dieselbe Crawler-Infrastruktur sowohl für den Suchindex als auch für das Gemini-Training und fällt deshalb ab dem 15. September unter Cloudflares Richtlinie zum „Blockieren von Training“
Da immer die restriktivste Regel Vorrang hat, werden auf Kundenseiten, die Training blockieren, auch Mehrzweck-Crawler wie Googlebot, Applebot und BingBot blockiert
Genau solche Praktiken eines Suchmonopolisten sollte das Kartellrecht verhindern; hoffentlich greifen wenigstens die EU-Regulierer ein, und sämtliche Googlebot-Crawling-Einträge in den Zugriffslogs könnten als Grundlage für Schadensersatz dienen
Frustrierend war zudem, dass sich per Suche kaum herausfinden ließ, wie man Google korrekt widerspricht, damit Inhalte nicht auf diese Weise verwendet werden
Cloudflares Haltung bei neuen Domains, Training und Agent-Crawling auf werbefinanzierten Seiten standardmäßig zu blockieren und Suche zugleich zu erlauben, wirkt ermüdend, als stünde das Unternehmen auf beiden Seiten eines Wettrüstens
Einerseits stellt es die Technik für Agenten und AI-Produkte bereit, andererseits treibt es solche Richtlinien voran; so eine Firma nutzt man nur ungern
Auch dass sie ihre Macht, auf Basis von über 20 % aller Web-Domains einen „Vertrauensstatus“ zu vergeben oder zu entziehen, positiv darstellt, ist bemerkenswert
Statt Cloudflare-Funktionen sollte man bitte die Einführung von Proof of Work (PoW) wie bei Anubis erwägen
Es kommt immer häufiger vor, dass auf von Cloudflare geschützten Seiten sogar ohne CAPTCHA komplett geblockt wird; auch wenn einzelne Seiten nicht entscheidend sind, ist es düster, wie solche Entscheidungen das Fundament des Internets aushöhlen
Wenn vollständig blockiert wurde, liegt das wahrscheinlich eher an einer Seiteneinstellung, die alle VPNs oder Nutzer außerhalb bestimmter Länder sperrt, als an Cloudflare selbst
Es ist beunruhigend, einem einzelnen immer dominanteren Unternehmen freiwillig zu überlassen, wer auf eine Website zugreifen darf
Wer reflexartig „Bots“ und „AI“ blockiert, sperrt am Ende auch AI-Agenten aus, die im Auftrag von Nutzern arbeiten; schon die Grundannahme der Richtlinie ist also falsch
Unklar ist, worauf Cloudflare und das Web letztlich hinauswollen. Es ist kaum zu erwarten, dass Anthropic, DeepMind, OpenAI und Google für Crawling zahlen; wahrscheinlicher sind private Verträge mit großen Diskurs-Lieferanten wie Reddit
Funktionen, die neue Informationen in den Kontext holen, werden bleiben, aber das ist etwas anderes als unterschiedsloses Scraping
Wenn Google erfolgreich direkt Fragen beantwortet und fast niemanden mehr zu den Originalseiten schickt, verschwindet der wirtschaftliche Anreiz, Inhalte offen im Web zu veröffentlichen, in großem Stil. So wie es jetzt läuft, wird Google technisch oder rechtlich blockiert werden und keine Inhalte mehr bekommen, und alle verlieren
Eine Welt, in der alle gratis arbeiten und nur Google und AI-Engines den Wert abschöpfen, oder eine Welt, in der die Content-Produktion ganz aufhört, ist nicht tragfähig; möglich bleibt aber, dass am Ende fast alle Inhalte hinter Bezahlschranken landen
Allerdings sind Micropayments bislang vollständig gescheitert, und wenn sich die Reibung nicht stark genug senken lässt, wird der Großteil wertvoller Inhalte weggeschlossen, während die Kosten für Auffindbarkeit und Zugang steigen und die gesamte Content-Industrie stark schrumpft. Wenn nur noch größere Zahlungen bleiben, wird das kommerzielle Web deutlich kleiner; vielleicht steigt die Qualität, aber zu einem hohen Preis
Unabhängig von jeder Vorreiterrolle sollte sich bei solchen Entscheidungen die IETF direkt beteiligen, damit alle Beteiligten berücksichtigt werden; sonst könnte das Internet fragmentieren
Bestehende Großunternehmen können das tragen und damit für neue Anbieter enorme finanzielle Hürden errichten, weshalb sie das womöglich sogar begrüßen
Auch Cloudflare-Kunden dürfte es egal sein, wie die Firma mit den großen AI-Unternehmen umgeht, solange sie über kostenlose oder günstige Dienste ihren Anteil bekommen
Ich frage mich, ob man nur Google, OpenAI, Grok, Claude und Perplexity zulassen und alle anderen Bots blockieren kann
Aktuell schickt nur Google tatsächlich Besucher, aber vielleicht tun das künftig auch andere große AI-Dienste
Auch „anonyme Bots blockieren“ könnte eine Alternative sein. Seit dem Anstieg der AI-Bots entsteht großer Schaden durch massive Anfragen von privaten IPs, die echte Menschen imitieren; dieser Traffic erzeugt nur Kosten und keinen Umsatz
Ich frage mich auch, ob Amazon CloudFront dafür Funktionen hat
Ich bin dankbar, dass Cloudflare zu den wenigen Plattformen gehört, die Websites die Wahl lassen, wie sie mit AI umgehen wollen, und sogar Wege anbieten, AI-Traffic zu monetarisieren
Ich frage mich, ob es neue Informationen zum Abrechnungsprogramm pro Crawl gibt
Ich habe AI-Training blockiert, und dadurch wurde sogar der Google-Suchbot blockiert, wodurch der Traffic halbiert wurde; ich würde das daher nicht empfehlen
Ich frage mich, ob irgendjemand solche Funktionen tatsächlich nutzt. Ob Scraper überhaupt zahlen, ist fraglich, und selbst wenn, bin ich skeptisch, ob sie genug zahlen würden, damit es sich rechnet