Cloudflares neuer Marketplace ermöglicht es Websites, AI-Scraping-Bots Gebühren zu berechnen

• Cloudflare hat angekündigt, im nächsten Jahr einen Marketplace zu starten, über den Website-Besitzer den Zugriff zum Scraping von Website-Inhalten an Anbieter von AI-Modellen verkaufen können
• Dieser Marketplace ist die letzte Phase eines größeren Plans von Cloudflare-CEO Matthew Prince, der Publishern mehr Kontrolle darüber geben soll, wie und wann AI-Bots Websites scrapen
• Als ersten Schritt hat Cloudflare das kostenlose Observability-Tool AI Audit veröffentlicht
  • Website-Besitzer erhalten ein Dashboard mit Analysen dazu, wie häufig AI-Modelle ihre Website scrapen
  • Mit AI Audit können Website-Besitzer AI-Bots blockieren oder bestimmte Web-Scraper zulassen
  • Eine Demo von AI Audit zeigt Website-Besitzern, woher einzelne Scraper kommen, und bietet ein optionales Fenster, in dem zu sehen ist, wie häufig Anbieter von AI-Modellen wie OpenAI, Meta und Amazon die Website besuchen
• Lösung eines Problems der AI-Branche
  • Anbieter von AI-Modellen scrapen tausende kleine Websites und nutzen diese als Informationsquelle für den Betrieb von LLMs
  • Die meisten Websites erhalten dafür keinerlei Vergütung, was das Geschäftsmodell vieler Websites zerstören könnte
  • Cloudflare hat einen Button eingeführt, mit dem Website-Besitzer AI-Bots blockieren können
• Berücksichtigung von Kundenanforderungen
  • Die Kunden von Cloudflare verlangten nach Tools, mit denen sie auswählen können, welche AI-Modelle auf ihre Website zugreifen dürfen
  • Das neue Tool von Cloudflare ermöglicht es, einige AI-Crawler zu blockieren und andere zuzulassen
• Ziel des Marketplaces
  • Der Marketplace von Cloudflare soll es kleinen Publishern ermöglichen, mit Anbietern von AI-Modellen Geschäfte abzuschließen
  • Websites können Gebühren für das Scraping festlegen oder von AI-Laboren Credits verlangen
• Auswirkungen auf das AI-Ökosystem
  • Die aktuelle Situation, in der einige AI-Unternehmen für Inhalte überhaupt nichts bezahlen, ist nicht nachhaltig
  • Der CEO von Cloudflare glaubt, dass dieser Marketplace dem AI-Ökosystem letztlich guttun wird

GN⁺-Zusammenfassung

• Cloudflare hat Pläne für einen Marketplace angekündigt, über den Website-Besitzer den Zugriff zum Scraping ihrer Inhalte an Anbieter von AI-Modellen verkaufen können
• Mit dem Tool AI Audit können Website-Besitzer analysieren, wie häufig AI-Modelle ihre Website scrapen
• Der Marketplace soll kleinen Publishern ermöglichen, mit Anbietern von AI-Modellen Geschäfte zu machen und so eine Vergütung für ihre Inhalte zu erhalten
• Dies könnte dazu beitragen, die Nachhaltigkeit des AI-Ökosystems zu verbessern

[yangeok]

Gute Idee.

[GN⁺]

Hacker-News-Kommentare

• Common Crawl ist zusammen mit OpenAI und Antropic in der Liste der „Providers“ enthalten

  • Common Crawl wird nicht nur für das Training von KI, sondern auch für viele andere Zwecke verwendet
  • Es ist eine wichtige Inhaltsquelle für die Wayback Machine
  • Das Ziel des Common-Crawl-Projekts ist, dass Common Crawl die Daten sammelt und in einem Standardformat bereitstellt, statt dass viele Unternehmen jeweils eigene Crawler betreiben
  • Wenn CloudFlare den Zugriff auf Inhalte einschränkt, könnte das große Auswirkungen haben
  • Es könnte eine Welt entstehen, in der die meisten Websites Sicherheitsprodukte nutzen, um den Zugriff zu beschränken

• OpenFoodFacts, OpenStreetMap und Wikipedia werden mit DDoS angegriffen

  • Obwohl sich die Daten kostenlos herunterladen lassen, scrapen Bots trotzdem alles
  • Dadurch entsteht unnötiger Traffic und die Kosten steigen
  • Das ist kein Urheberrechtsproblem, sondern liegt an der Ineffizienz der Bots und am mangelnden Interesse ihrer Betreiber
  • Es braucht eine Lösung

• Crawling zu verhindern, könnte eine sinnlose Aufgabe sein

  • Diese Funktion könnte große Player, die bereits viele Daten gecrawlt haben, noch weiter stärken
  • False Positives und übermäßige Captchas könnten Nutzer beeinträchtigen

• Cloudflare bietet einen Dienst an, der auf neue Weise vor Missbrauch schützt

  • Cloudflare bildet einen „Marktplatz“, indem es mit den Missbrauchern kooperiert
  • Wenn man den Dienst von Cloudflare nicht nutzt, wird der Missbrauch weitergehen
  • Das könnte einem Vorgehen ähneln, bei dem Schutzgeld verlangt wird

• Fragen zur Zukunft des World Wide Web

  • Es wirkte, als würde es ewig bestehen, aber irgendwann könnte es wie IRC verschwinden
  • Seine goldene Zeit ist vielleicht schon vorbei, und „KI“ könnte der Anfang vom Ende sein

• Im Cloudflare-Blog gibt es mehr Details

  • Die Demo von AI Audit zeigt Website-Betreibern, wie KI-Modelle ihre Seiten scrapen
  • Man kann sehen, wie oft Scraper von OpenAI, Meta, Amazon und anderen die Seite besucht haben

• Beispiel von Bingeclock mit AI Audit

  • In den 48 Stunden nach der Ankündigung von Cloudflare gab es interessante Veränderungen
  • Das Bezahlprogramm ist interessant, aber durch den Rückgang des Traffics könnten Websites ineffizient werden
  • KI-Scraper werden wahrscheinlich nur den Mindestbetrag zahlen

• Nächster Schritt: Inhalte mit generativer KI erzeugen und bezahlt werden, wenn Cloudflare sie scannt

• Dasselbe wiederholt von derselben Website zu scrapen, ist eine große Verschwendung

  • Wenn Cloudflare Änderungen und Updates verwalten könnte, ließen sich viele Ressourcen sparen
  • Websites melden Änderungen direkt an Cloudflare, und Cloudflare übermittelt sie an die KI
  • Die KI kauft die Änderungen, Cloudflare bezahlt die Website und behält die Marge