Perplexity setzt verschleierte, nicht gemeldete Crawler ein, um Crawling-Verbotanweisungen zu umgehen

 (blog.cloudflare.com)
4 Punkte von GN⁺ 2025-08-05 | 2 Kommentare | Auf WhatsApp teilen
  • Perplexity setzt einen identitätsverschleiernden Web-Crawler ein, um Crawling-Verbote zu umgehen
  • robots.txt wird ignoriert, und ein kontinuierlicher Wechsel von IP-Adressen und User Agent wurde festgestellt
  • In einem Neudomain-Test wurde bestätigt, dass Perplexity trotz Ausschlussregeln auf den Seiteninhalt zugreifen konnte
  • Cloudflare hat darauf reagiert, Perplexity aus der offiziellen Bot-Liste auszuschließen und Verwaltungsregeln zu ändern, um diese Aktivitäten zu unterbinden
  • Im Gegensatz zu gutwilligen Bot-Betreibern wie OpenAI wurde das verdeckte Verhalten von Perplexity als problematisch kritisiert

Überblick über Perplexitys Einsatz versteckter Crawler

  • Perplexity ist eine KI-basierte Antwortmaschine, die Websites zunächst mit einem offiziell gemeldeten User Agent crawlt
  • Bei Netzwerkblockaden wechselt Perplexity jedoch den User Agent, um die Identität zu verschleiern, und versucht den Zugriff über verschiedene ASN (Autonome Systemnummern) zu erzwingen
  • In diesem Prozess wurden zahlreiche Versuche beobachtet, bei denen robots.txt ignoriert oder ganz nicht angefordert wurde

Vertrauensprinzip zwischen Websites und Crawlern sowie problematisches Verhalten

  • Das Internet hat sich über Jahrzehnte auf Vertrauen entwickelt, und für Crawler gilt grundsätzlich, transparent zu handeln, einen klaren Zweck zu haben und verständliche Verhaltensregeln einzuhalten
  • Crawler sollten die Anweisungen und Prioritäten von Website-Betreibern respektieren. Das von Perplexity beobachtete Verhalten widerspricht diesen Grundsätzen
  • Daher hat Cloudflare Perplexity aus der Liste der offiziellen verifizierten Bots ausgeschlossen und zusätzliche Verwaltungsregeln zur Erkennung und Blockade von Stealth-Crawlern eingeführt

Erkennungs- und Testfälle

  • Cloudflare richtete eine Neudomain ein, um das Crawling-Verhalten von Perplexity zu testen
    • In robots.txt wurde jeglicher automatisierter Zugriff untersagt, und WAF-Regeln wurden ergänzt
    • Obwohl der offizielle User Agent und die IP-Adressen von Perplexity blockiert wurden, wurde dennoch der Site-Inhalt mit verschleierter Identität abgegriffen
  • Perplexity versucht den Zugriff auf Inhalte sowohl mit dem offiziellen als auch mit einem Stealth-User-Agent und gibt sich im letzteren Fall als echter Browser (Chrome) aus
Typ User-Agent-Beispiel Tägliches Anfragevolumen
Offiziell Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) 20.000.000 bis 25.000.000
Stealth Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 3.000.000 bis 6.000.000
  • Zudem werden zahlreiche IPs und ASNs genutzt, die nicht zum offiziellen IP-Bereich gehören, und die IPs werden fortlaufend gewechselt, um Umgehungsregeln zu umgehen
  • Als Folge wurden diese Aktivitäten bei zehntausenden Domains und Millionen von Anfragen identifiziert; Cloudflare hat den Crawler mithilfe von Machine Learning und Netzwerk-Signalen klassifiziert

Stealth-Crawler-Umgehung und deren Grenzen

  • Wird ein Stealth-Crawler blockiert, versucht Perplexity, Antworten mithilfe externer Quellen wie anderer Websites bereitzustellen
  • In solchen Fällen wurde jedoch eine deutlich geringere inhaltliche Detailtiefe festgestellt

Maßstäbe für verantwortungsvolle Bot-Betreiber und OpenAIs Best Practices

  • Gut betreibene Bots sollten durch Transparenz, eindeutige Identifizierung, Offenlegung des Zwecks, getrennte Bots pro Aktivität und die Einhaltung der Webmaster-Richtlinien (z. B. robots.txt) gekennzeichnet sein
  • OpenAI gibt offizielle IPs und User Agents sowie den Zweck der Bot-Aktivitäten transparent an und hält robots.txt strikt ein
  • In realen Tests stoppt der ChatGPT-Crawler zusätzliche Crawling-Versuche, sobald disallow-Anweisungen oder Netzwerkblockaden erkannt werden
  • Standardisierte Methoden wie Web Bot Auth werden ebenfalls aktiv eingeführt

Schutzmaßnahmen und Reaktion

  • Alle Crawls aus nicht gemeldeten User Agents von Perplexity werden durch das Bot-Management von Cloudflare erkannt und blockiert
  • Bestehende Bot-Blockierungs- oder Challenge-Regeln schützende Kunden sind bereits abgesichert
  • Regeln zur Blockierung von Stealth-Crawlern stehen allen Kunden (einschließlich kostenloser Accounts) über ein Administrations-Policy-Set zur Verfügung
  • Nach der Veröffentlichung von Content Independence Day haben mehr als 2,500.000 Websites Richtlinien zur Sperrung von KI-Crawling angewendet
  • Cloudflare entwickelt seine Gegenmaßnahmen und Technologien kontinuierlich weiter, um mit den sich weiterentwickelnden Umgehungsversuchen von Bot-Betreibern Schritt zu halten

Politische Bemühungen und Ausblick

  • Cloudflare beteiligt sich aktiv an Diskussionen zur Standardisierung von robots.txt-Erweiterungen zusammen mit Technik- und Politikfachleuten weltweit sowie mit Organisationen wie der IETF
  • Ziel ist es, Regeln für vertrauenswürdige Crawler zu etablieren und in einem sich schnell verändernden AI- und Crawler-Umfeld auf Transparenz und Rechtstreue zu setzen

Verwandte Beiträge

2 Kommentare

 
kaydash 2025-08-07

Perplexity, wir stehen hinter euch.
 
GN⁺ 2025-08-05
Hacker News Kommentar

  • Ich halte dieses Problem für extrem schwierig.

    1. Wenn ich als Mensch auf eine Website zugreife, sind wir uns doch alle einig, dass ich berechtigt bin, den Inhalt zu sehen.
    2. Dass ich auf meinem Rechner eigene Software installiere, etwa einen Werbeblocker, der den Inhalt verändert, bevor er angezeigt wird, ist meine eigene Wahl, und ich finde es richtig, dass die Website das nicht mitbekommt; den meisten Nutzern geht das ebenso so, obwohl manche Seiten nervig darauf bestehen, dass man die installierte Software ändert.
    3. Aber wenn der Inhalt durch Werbung, JavaScript und Pop-ups so überzogen ist, dass ich ihn nicht direkt nutzen kann und ihn deshalb mit einem LLM (Large Language Model) zusammenfassen lasse, verstehe ich nicht, warum der rechtliche Unterschied zwischen meinem Zugriff über Firefox und dem Zugriff durch das LLM bestehen soll.

    • Einige Geschäfte begrüßen Dienste wie Instacart oder Postmates nicht. Ob du selbst einkaufst oder mit dem Handy alle Artikel scannst, um Preise zu vergleichen, spielt für mich keine Rolle. Was sie jedoch nicht erlauben: dass ein Drittanbieter eigene Mitarbeiter schickt, um den Bestand zu prüfen oder Online-Bestellungen abzuholen. Dafür gibt es verschiedene Gründe: Sie wollen die Kontrolle über die wahrgenommene Produktqualität nicht verlieren (z. B. dass Lebensmittel abkühlen, Preise steigen oder falsche Ersatzartikel genommen werden), sie möchten den direkten Kontakt mit dem Kunden durch eigenes Personal pflegen oder sie lehnen schlicht Drittanbieter-Lieferungen ab. Es ist für mich eine vernünftige Entscheidung, einem nicht verwandten Unternehmen den Betrieb im eigenen Offline-Store zu verweigern. Ich glaube, diese Logik gilt auch für digitale Services.

    • Das ist eine Frage der Skalierung. Der nächste Schritt, den du meinst, könnte sein: Der Tag, an dem Menschen persönliche Research-Bots laufen lassen, die auf vielen Seiten Antworten suchen und dabei Seiten viel schneller anfragen als ein Mensch. Wir müssen herausfinden, wo die Grenze der Erlaubnis liegt. Ist persönliches Crawling okay? Oder wenn ein Bot klüger wird, vorhersagt, wonach ein Nutzer als Nächstes fragen wird, und ständig mit aktuellen Daten crawlt? Oder wird es erst zum Problem, wenn es größer wird und plötzlich massenhaftes Crawling für viele Nutzer aufsetzt?

    • Ich finde es sinnvoll, „Crawler“ und „Fetcher“ zu unterscheiden, um massives Scraping von benutzerspezifischen Agenten zu trennen. Ich arbeite gerade an der Entwicklung von KI-Agent-Detektionswerkzeugen (siehe: https://stytch.com/blog/introducing-is-agent/), und ich glaube, es hat echten Wert, wenn Website-Betreiber KI-Agenten identifizieren und eingeschränkte Zugriffsmethoden anbieten können. Gleichzeitig können Crawler fremde Namen missbrauchen, so tun, als wären sie einen seriösen Crawler, robots.txt ignorieren und schlechtes Benehmen zeigen. Derzeit ist die Standardlösung ein Reverse-DNS-Lookup auf die IP, aber auch das ist für Betreiber umständlich. Ich denke, es ist effizienter, alle auffälligen Zugriffe grundsätzlich zu blockieren.

    • Ich stimme zu, dass das Werbemodell selbst große Probleme hat. Aber die Trennung zwischen Inhaltserstellern und Nutzern durch KI-Unternehmen ist nicht das Web, das ich sehen möchte. Zum Beispiel betreibt jemand einen kostenpflichtigen Newsletter, stellt einen Teil kostenlos ein, um interessierte Besucher anzulocken, und wandelt einen Teil davon später in zahlende Nutzer um. Der Ersteller erwartet dabei, dass „Content sehen und dann Upsell (Conversion)“ zusammen stattfinden. Wenn ein KI-Crawler diesen Ablauf überspringt und nur den wichtigen Inhalt extrahiert, gibt es keinen Grund mehr, etwas kostenlos ins Netz zu stellen. Wenn KI-Crawler gewinnen, verlieren am Ende alle.

    • Viele Seiten sind tatsächlich nicht komplett mit Werbung vollgestopft. Klassische Suchmaschinen hatten implizit die Vereinbarung: „Wir crawlen eure Seiten, dafür bringt ihr Traffic.“ KI-Crawler für proprietäre Modelle brechen diese Vereinbarung. Sie erstellen Modelle mit QA (Question Answering), und ein LLM-Anbieter verdient Milliarden mit Wissen aus Crawls, aber der Website geht nichts zu. Selbst wenn die Daten nur für Nutzeranfragen geholt werden, nimmt der LLM-Betreiber den Großteil der Einnahmen mit, und der eigentliche Content-Ersteller erhält nicht einmal einen Besucher. Wenn es Perplexity erlaubt wäre, auf Nutzeranfrage Seiten trotz robots.txt und Blockierung zu holen, wäre es schwer zu glauben, dass diese Daten nicht irgendwann fürs Training oder für weiterführendes Crawling genutzt werden.

  • Ich finde es spannend, wie schnell sich die Lage verändert. Ich denke, es ist sogar nützlich, wenn das Web sich auf kleinere, mitgliederzentrierte (nicht geografisch, sondern sozial gemeint) Communities konzentriert statt auf „die ganze Welt“. Der Aufbau einer eigenen Community und das Einladen in privatere Räume wird wahrscheinlich immer wichtiger werden. Das frühere offene Web wird wahrscheinlich zu einem Raum für Maschinen. Früher hassten wir die Idee der Bubble, aber Blasen sind eigentlich normal und haben Sinn, solange man nicht allein ist. Wenn Maschinen und Maschineninhalte im Web überhandnehmen, werden Menschen letztlich wieder lernen, sich miteinander zu verbinden.

  • Zur Frage, ob ein Test mit Perplexity AI gezeigt hat, dass selbst Inhalte gesperrter Domains detailliert ausgegeben wurden: Die daraus gezogene Schlussfolgerung, dass es sich um einen Marketingartikel handelt, der darauf abzielt, ein bestimmtes Unternehmen (Perplexity) zu kritisieren, wirkt auf mich uneindeutig. Es ist nicht klar, ob Perplexity zu systematischem Crawling (also ein vollständiges Durchsuchen aller Seiten) übergegangen ist oder die Inhalte nur einmal auf Nutzeranfrage abgerufen hat. Die meisten Menschen unterscheiden diese beiden Fälle, und viele halten Letzteres für deutlich akzeptabler als Ersteres.

    • Es fühlt sich irgendwie wie Werbung für Perplexity an. Auch hier kommt Cloudflare als „guter“ und Perplexity als „böser" Spieler heraus, während Cloudflare ebenfalls lautstark damit wirbt, das Web retten zu wollen. Die Argumente wirken oberflächlich, und beide wirken wie ein „Kampf der Giganten“; deshalb habe ich das Gefühl, dass Perplexity hier sogar PR-technisch im Vorteil ist.

    • Prinzipiell kann das Abrufen von Seiten für den Nutzer zugelassen sein, aber angesichts der bisherigen Missachtung von Urheberrecht und ähnlichen Regeln durch KI-Firmen kann man nicht ausschließen, dass der Seiteninhalt gespeichert wird, um später fürs Training oder zum zusätzlichen Crawling genutzt zu werden.

    • Schon in der HTTP-Spezifikation zeigt sich diese Unterscheidung indirekt. Schon an der Konzeption und Benennung von „user agent“ ist die Trennung sehr konkret erkennbar.

    • Wenn KI alle Ergebnisse cached oder archiviert und viele Menschen sie nutzen, ist das im Grunde nicht mehr als ein Scraper. Für das Training reicht ein Cache. Es ist eine Zwischenhändler-Rolle: Wichtige Inhalte werden herausgezogen und zusätzlich noch ein Signal für den Datenwert erhalten.

  • In der Antwort von Perplexity an TechCrunch heißt es: Der Cloudflare-Blogpost sei nichts anderes als „Sales-Pitch.“ Außerdem behaupte man, die Blog-Screenshots zeigten, dass „auf keinerlei Inhalte zugegriffen wurde“. Und der im Bloggenannte Bot sei angeblich nicht deren eigener.

  • Perplexity blockiert selbst Crawler.

    $ curl -sI https://www.perplexity.ai | head -1
HTTP/2 403

    Selbst wenn man mit einem Browser-User-Agent täuscht, wird ebenfalls geblockt. Das wirkt wie eine ziemlich ausgeklügelte Crawler-Erkennung.

  • Ich glaube, „Stealth“-Crawler werden immer gewinnen. Mit Browser-Automatisierungstools wie dem W3C WebDriver2 und dem Chrome DevTools Protocol kann man Scraper bauen, deren Erkennung nahezu unmöglich wird. CAPTCHAs kann man einsetzen, aber Entwickler können auch Workflows mit Human-in-the-Loop einbauen, sodass in den Callcenter-Arbeitszeiten Menschen manuell übernehmen. Vor 15 Jahren wurden in der Spielentwicklungstests bereits rasterbasierte Scraping-Methoden genutzt; solche Methoden werden die Internetüberwachung heute ziemlich in Verlegenheit bringen.

    • Ich denke, der Grund, warum Stealth-Crawler nicht dauerhaft gewinnen, ist, dass bei jedem Zugriff auf wertvolle Sites irgendwann eine Remote Attestation zwingend werden wird.

  • Ich glaube, das Internet braucht ein Mikropayment-System. Wenn ein Crawler pro Seite auch nur 1 Cent bezahlen würde, wäre 24/7-Crawling willkommen. Wenn ich pro Seite direkt 1 Cent bezahle, um Inhalte zu konsumieren, muss ich keine Clickbait- oder seltsamen Werberegeln ertragen. Kostenloser Zugriff muss nicht immer gesperrt werden (tatsächlich wird er vermutlich gesperrt werden, aber auch das hat eine Bedeutung). Man kann sich zum Beispiel vorstellen, dass Reddit hohe Gebühren verlangt und für gute Inhalte Rückerstattungen anbietet, um die Qualität zu erhöhen. Auch neue Modelle wie „Hinterlegung – Auszahlung – Strafe“ sind denkbar: Bei der Anmeldung hinterlegt man eine Kaution, bei einem Bann verfällt sie, bei normaler Aktivität wird sie erstattet. Das soll Administration vereinfachen und die Content-Qualität verbessern. Solche Ideen werden gebraucht, weil das Internet immer mehr mit Müll gefüllt wird. Eine weitere Idee: 1 Cent pro Google-Suchanfrage zahlen und das Geld zurückbekommen, wenn das Ergebnis nicht gefällt. Google AI bewertet dann die Zufriedenheit; wenn eine Suche nicht zufriedenstellend ist, zeigt sie nur populäre, werbeüberladene Treffer. Dann würden Nutzer ihr Geld an andere Suchmaschinen weiterleiten.

  • Es ist sinnvoll, dass eine angesehene Instanz wie Cloudflare offen „fraudulent scraping“ angreift, wenn jemand durch unkontrolliertes Crawling eine Website gefährdet und damit die Verlässlichkeit des offenen Netzes bedroht. Dass diese Kontroverse den Austausch überhaupt entfachen kann, ist schon in sich bedeutend. Letztlich müssen die großen Akteure in eine Suchära zurückkehren, in der zumindest Grundregeln eingehalten wurden – so wie früher.

    • Wir leben in einer „Scham-losen Ära“: Ich glaube, öffentliche Bloßstellung wirkt nicht mehr.

  • Eine selbstentwickelte persönliche Suchmaschine kann auch Features in etwa auf Perplexity-Niveau liefern. In einem Vergleich mit Freunden wurde sie von etwa der Hälfte genauso stark bevorzugt wie Perplexity. Die Engine kann für Forschungszwecke Webseiten herunterladen. Sobald aber ein CAPTCHA ausgelöst oder man geblockt wird, hört man sofort auf. Gleichzeitig glaube ich, dass große IT-Konzerne glauben, mit ihren Milliarden an Venture Capital könnten sie alles tun, und diese Haltung ärgert mich.

  • Die Aussage „Über die Cloudflare managed robots.txt-Funktion oder AI-Crawler-Blocking-Regeln haben mehr als 2,5 Millionen Websites die vollständige KI-Lernsperre gewählt“ wurde geäußert. Tatsächlich wurde diese Funktion laut Aussage von Cloudflares CEO standardmäßig auf alle Kunden angewandt. Unternehmen, die KI-Empfehlungen möchten oder auf Traffic Wert legen, sollten die Option abschalten, um finanzielle Schäden zu vermeiden.

    • Die Behauptung „Standardmäßig aktiviert“ ist falsch. Ich habe Cloudflare-Seiten selbst geprüft und festgestellt, dass die Funktion nicht automatisch aktiv ist, wenn keine Einstellungen vorgenommen werden. Fehlt robots.txt, erscheint lediglich der Hinweis „Consider enabling Cloudflare managed robots.txt“. Bestehende Dateien bleiben erhalten, und der AI-Traffic-Hinweis ist ebenfalls standardmäßig aus.

    • Zur Behauptung „Wenn ihr AI-Empfehlungen wollt, müsst ihr die Einstellung ausschalten“: Content-Marketing, gamifizierte SEO und Werbeüberflutung beeinträchtigen die Qualität der Google-Suchergebnisse stark. Bei LLMs (Large Language Models) ist diese Art von „Gamifizierung“ bisher kaum sichtbar. Irgendwann könnten auch LLMs wie kaputte Suche werden; ich hoffe, OpenAI und Anthropic erkennen, dass dieser Rückgang in der Suchqualität zu sinkendem Google-Traffic führen kann.

    • Die Behauptung der „Standard-Einstellung" ist komplett falsch. Tatsächlich wird niemand automatisch für diese Funktion angemeldet, wenn man nichts konfiguriert. Und selbst zu den Zeiten, in denen diese Behauptung vielleicht stimmte, ist dem nicht mehr so; sie war von Anfang an falsch.