- Viele Nutzer verwenden RSS-Feed-Reader, um Inhalte von Websites aktuell zu halten.
- Wenn Cloudflare jedoch auf einer Website aktiviert ist, kann es sein, dass diese RSS-Nutzer keinen Zugriff auf die Inhalte mehr haben.
- Im Cloudflare-Dashboard gibt es Werkzeuge, um Bot-Traffic zu blockieren. Dazu gehören insbesondere Bot Fight Mode und die Option zum Blockieren von "AI scrapers and crawlers".
- Wenn diese Funktionen aktiviert werden, können Nutzer, die über RSS-Reader auf die Website zugreifen, blockiert werden.
Wie Cloudflare RSS-Reader blockiert
- Cloudflare stuft Website-Besuche als AI-Scraper oder Bots ein und blockiert sie.
- Wenn ein RSS-Reader versucht, eine Website zu lesen, präsentiert Cloudflare oft eine Challenge, die von einem Menschen gelöst werden muss. RSS-Reader können diese nicht lösen.
- In anderen Fällen wird der Zugriff von RSS-Readern auch ohne erkennbaren Grund blockiert.
RSS-Reader trotz Cloudflare entsperren
- Auch bei Nutzung von Cloudflare kann man RSS-Reader auf eine Whitelist setzen und so entsperren.
- Im Analyse-Dashboard von Cloudflare muss man den User-Agent des blockierten RSS-Readers finden.
- Auf Basis des User-Agent-Strings oder der IP-Adresse lassen sich benutzerdefinierte Regeln erstellen, um den Traffic zuzulassen.
Es braucht einen besseren Weg, damit Cloudflare RSS-Reader erlaubt
- Cloudflare bietet zwar ein Bot-Verifizierungsprogramm, für das sich Betreiber von RSS-Readern manuell bewerben können, doch dieses Programm ist nicht verlässlich und hat mehrere Probleme.
- Der Verifizierungsprozess ist instabil.
- Verifizierte RSS-Reader werden weiterhin blockiert.
- Das Entsperren von RSS-Readern auf mehreren Websites ist umständlich.
Zusammenfassung von GN⁺
- Die Sicherheitswerkzeuge von Cloudflare sind nützlich, um bösartige Bots und Angriffe zu verhindern, aber Nutzer von RSS-Tools sollten weiterhin auf Website-Inhalte zugreifen können.
- Cloudflare sollte eine einfache Möglichkeit bereitstellen, das Problem der Blockierung von RSS-Readern zu lösen.
- Für Website-Betreiber, die die Sicherheitseinstellungen von Cloudflare verwenden, sind das wichtige Informationen.
1 Kommentare
Hacker-News-Kommentare
Der Betreiber von NewsBlur hat aufgrund von Blockierungen durch Cloudflare Schwierigkeiten beim Abrufen von RSS-Feeds, und Nutzer verlangen Rückerstattungen. Er hat Cloudflare eine Liste mit IP-Adressen geteilt, doch das hatte keine Wirkung. Er hofft, dass Cloudflare diese Liste auf eine Allowlist setzt
Listen Notes nutzt Cloudflare, um die Sicherheit des Dienstes zu verwalten, und trennt Subdomains je nach Traffic-Typ, um für jede passende Firewall- und Seitenregeln anzuwenden. Dadurch wird eine optimale Bereitstellung des Dienstes sichergestellt
Wenn Firefox unter OpenBSD mit strengen Datenschutzeinstellungen ausgeführt wird, tritt auf Websites mit vorgeschaltetem Cloudflare ein 403-Forbidden-Fehler auf. Das scheint ein Problem von Cloudflare zu sein
Einen bestimmten User-Agent auf eine Allowlist zu setzen, ist endlose Handarbeit, und böswillige Akteure können das umgehen. Stattdessen wird empfohlen, eine Seitenregel zu erstellen, die Bot-Blocking deaktiviert, um das Problem für alle RSS-Reader zu lösen. Das Problem mit den Standardeinstellungen von Cloudflare ist seit Jahren ungelöst
Über die E-Mail-Adresse jgc@cloudflare.com möchte Cloudflare von den Erfahrungen der Betreiber von RSS-Readern hören und plant, das Team zu bitten, das Problem genauer zu untersuchen
Ein Betreiber eines RSS-Readers erwähnt, dass viele Support-Anfragen durch das Problem "Feed funktioniert nicht" entstehen, was nicht nur durch Cloudflare, sondern auch durch verschiedene Firewall-Konfigurationen verursacht wird
Cloudflare behindert das Abrufen von Feeds durch RSS-Reader, und außer Website-Betreiber darum zu bitten, individuell Ausnahmen hinzuzufügen, gibt es keine Lösung
Websites, die Cloudflare nutzen, können Safari- oder Chrome-Nutzer oder auch alle Nutzer blockieren, was den Website-Betreibern Verluste verursacht. Beim Zugriff auf Cloudflare selbst tritt die Blockierung nicht auf
Wenn Regierungswebsites durch Cloudflare blockiert werden, ist es fast unmöglich, das Problem zu erklären und um eine Lösung zu bitten. Selbst wenn es behoben wird, tritt das Problem einige Wochen später erneut auf
Cloudflare behindert den Webzugang bei thailändischen IPs und Linux-Firefox-Fingerprints, ohne dass Web-Admins diese Probleme bemerken. Mit der Web-Scraping-API von Scrapfly wurde eine RSS-Bridge gebaut, um das Problem zu lösen. Das moderne Web ist unsozial und weit entfernt vom Web-2.0-Ideal, dass alles über APIs verbunden sein würde