Cloudflare Radar: AI-Einblicke

• Zu Cloudflare Radar wurde eine eigene Seite für AI Insights hinzugefügt, auf der sich AI-Bot- und Crawler-Traffic, die DNS-basierte Beliebtheit generativer AI-Dienste, robots.txt-Direktiven und Nutzungstrends von Workers-AI-Modellen auf einen Blick erfassen lassen
• Das Traffic-Diagramm für AI-Bots und Crawler bietet auf Basis der Liste von ai.robots.txt Zeitreihen- und Zusammenfassungsdaten der wichtigsten UAs und unterstützt über die Radar API und den Data Explorer eine detaillierte Analyse
• Das Ranking generativer AI-Dienste mithilfe von 1.1.1.1-DNS-Daten zeigt Veränderungen in täglichen Aggregationen; dabei lassen sich starke Ausschläge neuer Dienste erkennen, etwa der sprunghafte Anstieg von DeepSeek Ende Januar 2025 (Auftauchen am 26.1. → Platz 3 am 29.1.)
• Die robots.txt-Analyse aggregiert AI-bezogene Allow-/Disallow-Direktiven der Top-10.000-Domains, visualisiert Sperrtrends nach Kategorien und zeigt im Bereich News und Medien einen breiten Nichtzulassungstrend
• Die Beliebtheit von Workers-AI-Modellen und -Tasks liefert auf Basis gemeinsam genutzter Daten Nutzungstrends nach Modell und Task sowie Zeitvergleiche und hilft so, die Entwicklung des schnell wandelnden Modell-Ökosystems zu verstehen

---

Überblick

• Cloudflare hat in Radar eine neue AI-Insights-Seite eingerichtet, die AI-bezogene Traffic-Trends, Dienstbeliebtheit, Zugriffskontrolle und Modellnutzung gebündelt bereitstellt
• Datenquellen sind 1.1.1.1-DNS-Traffic, die User-Agent-Liste von ai.robots.txt, gemeinsam genutzte Daten von Workers AI sowie die Anbindung an die Radar-API/den Data Explorer

Traffic-Trends bei AI-Bots und Crawlern

• Die Aktivität der Top 5 AI-Bots/Crawler wird nach Zeitraum visualisiert, sodass sich Anfrageintensität und Periodizität erkennen lassen
  • Für die Erfassung der User-Agents wird die Liste von ai.robots.txt herangezogen und fortlaufend aktualisiert
  • Über Zeitreihen- und Summary-API-Endpunkte ist ein programmatischer Zugriff möglich
• Im Data Explorer lassen sich breitere Trends für die gesamte Menge der AI-Bots untersuchen
  • Betreiber können auffälligen Traffic nach Region, Zeitraum und UA prüfen
  • Das lässt sich für Korrelationsanalysen mit internen Reaktionsrichtlinien nutzen

Beliebtheit generativer AI-Dienste

• Auf Basis des 1.1.1.1-DNS-Anfragevolumens wird das relative Ranking öffentlicher generativer AI-Dienste täglich bereitgestellt
  • In den Jahresrückblicken 2023/2024 blieb ChatGPT durchgehend auf Platz 1
  • Ende Januar 2025 wurde besonders bei den Plätzen 6 bis 10 eine hohe Volatilität beobachtet
• DeepSeek tauchte am 26. Januar erstmals auf und stieg bis zum 29. Januar auf Platz 3
  • Das liefert hochfrequente Ranking-Daten, die zur Erkennung schnell wachsender neuer Dienste nützlich sind
  • Über die Radar API ist mit dem Parameter serviceCategory=Generative%20AI Zugriff auf die rohen Zeitreihendaten möglich

Analyse von robots.txt-Dateien

• Die Top 10.000 Domains werden regelmäßig erfasst, um AI-bezogene Allow-/Disallow-Direktiven zu aggregieren
  • Die Diagramme fassen vollständige Erlaubnis/Nichterlaubnis sowie partielle Erlaubnis/Nichterlaubnis je User-Agent zusammen
  • Die Kategorie News und Medien zeigt einen breiten Trend zur Nichtzulassung gegenüber AI-UAs
• Bei der Betrachtung von Allow-Direktiven ist die Zahl der explizit erlaubenden Websites deutlich zurückgegangen
  • Wenn kein UA angegeben ist und kein Wildcard verwendet wird, gilt standardmäßig vollständige Erlaubnis
  • Radar API und Data Explorer unterstützen gefilterte Analysen nach Bot und Direktive

Beliebtheit von Workers-AI-Modellen und -Tasks

• Für öffentlich unterstützte Modelle und Tasks in Workers AI werden Nutzungstrends auf Basis gemeinsam genutzter Daten visualisiert
  • Modellbeliebtheit und Task-Beliebtheit werden jeweils als Zeitreihe und Zusammenfassung bereitgestellt
  • Im Data Explorer lassen sich mit der Funktion timeCompare Veränderungen gegenüber dem Vormonat analysieren
• Modellbeispiele: Textgenerierung, Bildgenerierung, Spracherkennung, Bildklassifikation und weitere vielfältige Tasks
  • Beim Start neuer leistungsstarker Modelle ist durch frühe Sichtbarkeit ein proaktives Reagieren möglich

Fazit und Implikationen

• Das AI-Ökosystem zeigt starke Volatilität, und neue Dienste erleben häufig innerhalb kurzer Zeit starkes Wachstum
  • Mit der Verbreitung generativer Dienste bleiben Themen wie Content-Scraping, Urheberrecht und Zugriffskontrolle ein anhaltendes Spannungsfeld
• Die AI-Insights-Seite bietet Traffic, Beliebtheit, Zugriffskontrolle und Modellnutzung in integrierter Form und ist damit nützlich für Branchenbeobachter und Praktiker, um aktuelle Trends zu erfassen
  • Betreiber können über Radar API und Data Explorer automatisierte Monitoring- und Reporting-Systeme aufbauen
  • Durch die Verknüpfung von robots.txt-Strategien mit CDN-/Sicherheitsrichtlinien lässt sich die Reaktion auf AI-Bots verfeinern