Reddit hält schlichtes HTML offenbar für unsicher

 (cole-k.com)
1 Punkte von GN⁺ 9 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Reddit begann, für abgemeldete Nutzung von Old Reddit eine Anmeldung zu verlangen, weil dies als Hauptquelle für bösartiges Scraping und automatisierten Traffic gilt; New Reddit bleibt jedoch weiterhin ohne Anmeldung zugänglich
  • Old Reddit liefert Beiträge und Kommentare größtenteils als schlichtes HTML aus und lädt etwa 1 MB herunter bei 0,5 MB Upload, während das JavaScript-pflichtige New Reddit ungefähr 5-mal so viele Daten lädt
  • In einem begrenzten Browser-Experiment ließ sich auch bei New Reddit Kommentartext mit etwas JavaScript und nur einigen API-Anfragen für Kommentare abrufen, daher ist nicht bestätigt, ob diese Änderung Scraping tatsächlich verhindert
  • Old Reddit lädt von Anfang an 200 Kommentare, New Reddit nur 25 und selbst nach dem Scrollen nur etwa 35, weshalb Scraper klar Old Reddit mit seiner kompakteren Struktur bevorzugen dürften
  • Statt sich auf ein vages Argument der „Sicherheit“ zu berufen, hätte Reddit offen sagen sollen, dass es um das Eindämmen von Scraping oder die Einstellung des Dienstes geht; der Anmeldezwang schafft eine unnötige Hürde für Nutzer, die von Menschen geschriebene Suchergebnisse lesen wollen

Reddit und von Menschen geschriebene Suchergebnisse

  • Reddit hostet viele populäre Foren und gilt als Unternehmen, das aus nutzergeschaffenen Communities möglichst viel Wert ziehen will
  • Da menschengenerierte Daten im Zeitalter der LLMs stark an Wert gewonnen haben, sind Beiträge aus Reddit-Communities zu einem noch wichtigeren Gut geworden
  • Auch die frühere Reddit-API-Kontroverse war ein Fall, in dem Wert aus der Community abgeschöpft werden sollte
  • Wer einer Suchanfrage site: reddit.com anhängt, findet leichter Ergebnisse, die tatsächlich von Menschen geschrieben wurden; selbst ohne aktive Reddit-Nutzung blieben solche Suchtreffer daher einen Besuch wert

Anmeldepflicht für Old Reddit

  • old.reddit.com ist das Frontend für das frühere Reddit-Design, lässt sich jetzt aber abgemeldet kaum noch normal nutzen
  • Eine kleine Gruppe von Nutzern mit Firefox und NoScript hat wiederholt erlebt, wie funktionierende Produkte durch eingestellte Unterstützung verdrängt wurden
    • Ein 8 Jahre altes Smartphone und ein 10 Jahre altes Tablet wurden unbrauchbar, weil ihre Betriebssysteme als zu alt galten
    • Auch die API der aus dem App-Store verschwundenen Stack-Exchange-App wurde abgeschaltet
  • Reddit erklärte die Maßnahme mit „um Reddit sicher zu halten“, doch es bleibt unklar, welche Bedrohung von Nutzern ausgehen soll, die lediglich auf Wissen zugreifen wollen

Das von Reddit genannte Scraping-Problem

  • Laut der offiziellen Ankündigung von Reddit ist die abgemeldete Nutzung von Old Reddit eine Hauptquelle für bösartiges Scraping und automatisierten Traffic
  • New Reddit bleibt auch ohne Anmeldung erreichbar, weshalb fraglich ist, warum nur Old Reddit eingeschränkt wird
  • Ein zugehöriger Kommentar meint, dass sich Methoden für bösartigen Traffic laufend ändern und daher Blockieren und Umgehen ein ständiges Wechselspiel sind; nachträgliche Erkennung sei leicht, präventive Blockierung jedoch schwierig
  • Es wurde die Deutung geäußert, Old Reddit verfüge nicht über einen modernen Security-Stack und sei daher schwerer gegen automatisierten Traffic zu schützen; ein Reddit-Admin verwies darauf indirekt in seiner Antwort

Funktionsweise und Datenmenge von Old Reddit

  • Eine Untersuchung des Ankündigungs-Threads nach dem Login zeigte, dass Old Reddit Nutzerinhalte größtenteils als schlichtes HTML ausliefert
  • Abgesehen vom Nachladen weiterer Kommentare lässt sich die Seite auch ohne JavaScript lesen
  • Die gemessene Seite lud etwa 1 MB herunter und übertrug 0,5 MB, wobei der Großteil der Antwort aus HTML bestand
  • Bis zur Antwort vergingen etwa 2 Sekunden, und gemessen an der Größe war das ungefähr 4-mal langsamer als GitHub
    • Ob das an Rate-Limits lag oder Reddit generell langsam ist, blieb unklar
  • Zusätzliche Kommentar-Anfragen waren kompakt und schnell; auffällige Sicherheitsprobleme, die über normale Webseiten hinausgingen, wurden nicht gefunden

JavaScript-Abhängigkeit von New Reddit

  • New Reddit kann ohne JavaScript fast keine Inhalte außer dem Beitrag selbst laden
  • Das gesamte Ladevolumen lag bei etwa dem 5-Fachen von Old Reddit; statt den genauen Sicherheitsmechanismus zu umgehen, wurde getestet, welche Minimalanfragen im Browser nötig sind, um Inhalte zu laden
  • Schon mit den folgenden Anfragen lud die Seite selbst:
  • Mit gesetztem Filter blieb der Button für zusätzliche Kommentare zwar dauerhaft im Ladezustand, doch die tatsächlichen Antworten enthielten bereits den Kommentartext
  • Da sich Kommentarinformationen schon durch das Ausführen des Seiten-JavaScripts und das Senden der nötigen Anfragen abrufen lassen, bleibt unklar, ob gerade die JavaScript-Ausführung die entscheidende Hürde gegen Scraper ist

Captcha und Übertragung von Nutzerverhalten

  • Während wiederholten Neuladens der Seite sowie des Ladens von Kommentaren und Antworten schlugen die meisten Versuche nicht fehl
  • In einem Experiment ohne Anfragenfilter wurden Captcha-Felder zusammen mit einer Weiterleitung als Query-Parameter übergeben, doch dieses Verhalten ließ sich nicht reproduzieren
  • Ebenfalls unklar blieb, ob ein Captcha erscheint, wenn die Kommentar-API direkt wiederholt aufgerufen wird
  • New Reddit sendet bei jedem Scrollen oder Bewegen des Mauszeigers Heartbeat-Signale an Reddit

Grenzen der Wirkung gegen Scraping

  • Es wirkt weniger wie ein Sicherheitsproblem des Frontends selbst als wie eine Maßnahme von Reddit, das Scraping wertvoller nutzergenerierter Daten erschweren will
  • Es ist nicht bewiesen, dass sich New Reddit weiterhin scrapen lässt, und es bleibt möglich, dass es schwieriger ist als Old Reddit
  • Dass Scraper Old Reddit bevorzugen, liegt klar an der kompakteren Seite und der höheren Zahl initial geladener Kommentare
    • Old Reddit lädt von Anfang an 200 Kommentare
    • New Reddit lädt zunächst nur 25 und erhöht nach dem Scrollen automatisch auf etwa 35
  • New Reddit hat die frühere, auf schlichtem HTML basierende Ansicht durch eine etwa 5-mal schwerere Struktur ersetzt, die unter anderem auf Web Components setzt; dadurch erhält der Browser mehr Daten und muss mehr Arbeit leisten
  • Das könnte die Kosten für Scraping durch höhere Browserlast erhöht haben, die tatsächliche Sperrwirkung ist jedoch nicht bestätigt

Widerstand gegen das Argument der „Sicherheit“

  • Hätte Reddit stillschweigend 30X- oder 40X-Antworten für old.reddit.com eingeführt oder offen erklärt, dass die wenig genutzte Variante entfernt wird, wäre das zwar unerquicklich, aber vorhersehbar gewesen
  • Größeren Widerstand ruft hervor, dass ein funktionierender Zugangsweg mit einem vagen Sicherheits- bzw. Scraping-Argument genommen wird, das mit realen Nutzern nichts direkt zu tun hat
  • In Fällen wie Anubis, in denen die Notwendigkeit nachvollziehbar ist, bestünde durchaus Bereitschaft, JavaScript zu aktivieren; der Kern des Unmuts ist also nicht JavaScript selbst, sondern der Widerspruch zwischen Begründung und Maßnahme
  • Auch ein persönlicher Blog liefert wie Old Reddit Text als schlichtes HTML aus, unterscheidet sich aber dadurch von Reddits nutzergenerierten Inhalten, dass es ursprünglich Inhalte des Betreibers selbst sind

Verbleibende Optionen und Sorgen

  • Eine Anmeldung ist zwar möglich, doch der Unmut darüber bleibt, dass nun ein früher unnötiger Schritt erzwungen wird
  • Möglicherweise muss New Reddit genutzt werden, und ob Reddit Old Reddit weiter unterstützt, ist ungewiss
  • Es besteht die Sorge, dass Reddit künftig auch den abgemeldeten Zugriff auf New Reddit sperren könnte, wenn das als machbar erscheint
  • Gewünscht ist ein Internet, in dem man von Menschen geschriebene Texte direkt suchen und lesen kann, statt zum Lesen echter Beiträge durch riesige und teure LLMs gehen zu müssen
  • Die zugehörige Diskussion wurde auch bei Lobste.rs gepostet

Verwandte Beiträge

1 Kommentare

 
GN⁺ 9 시간 전
Meinungen auf Lobste.rs

  • Das beste Beispiel für die Enshittification sozialer Medien ist der Übergang vom alten Reddit zum neuen Reddit. Die alte Version ist betagt, aber schnell und schnörkellos; sie kann Dutzende Antworten laden, ohne den Browser zu belasten, und Unzulänglichkeiten lassen sich mit Tools wie RES oder Toolbox verbessern.
    Alle paar Monate probiere ich die neue Version wieder aus, aber obwohl ich seit fast 15 Jahren angemeldet bin, fällt es mir schwer, mich daran zu gewöhnen. Zwei riesige Sidebars nehmen Platz weg, das Öffnen von Beiträgen ist langsam und verwirrend, und beim Laden von Kommentarsträngen aktualisiert sich manchmal die Seite, sodass der Kontext verloren geht.
    Es gibt auch gute Funktionen wie Bildbeiträge, Abstimmungen und neue Moderations-Tools, aber ich lande trotzdem immer wieder bei der alten Version. Es sieht auch nicht so aus, als würde das Unternehmen wieder stärker auf Benutzerfreundlichkeit setzen; zudem ist unheilvoll, dass die frühere Haltung, die alte Version auf unbestimmte Zeit zu unterstützen, zuletzt zu „nicht sofort“ abgeschwächt wurde.

    • Das alte Web und Old Reddit mit seinen vielen sozialen, kleinen Communities sind immer weiter verfallen. Wenn sogar Old Reddit eingestellt wird, werden die verbliebenen Nutzer gehen oder ihre Accounts löschen, was den Niedergang beschleunigen wird; ich gehöre dann definitiv dazu.
      Auch /r/rust, wo ich oft aktiv bin, wird wahrscheinlich zusammenbrechen, weil es die meisten Moderatoren und langjährigen Nutzer verliert. Da Rust gereift und zu sehr Mainstream geworden ist, ist die Qualität im Vergleich zu vor zehn Jahren ohnehin stark gesunken. New Reddit passt besser zu der Richtung, die das Unternehmen will, ist für das alte Web aber ein völlig anderes Produkt ohne Hoffnung.
    • Kaum zu glauben, aber ich nutze Old Reddit sogar mobil. Selbst wenn die Schrift klein ist, ist es viel schneller.
    • „Das schlimmste Beispiel“ ist eine gewagte Einschätzung. Facebook, das in einen Feed mit Neuigkeiten von Freunden und Familie politisch empörende Inhalte und minderwertigen AI-Content einschiebt, gehört ebenfalls ganz nach oben.
    • Die Desktop-Ansicht von New Reddit macht es insgesamt schwerer, Inhalte zu erfassen. Es ist auch schwieriger geworden, interessante Überschriften zu überfliegen oder zu erkennen, was relevant ist.

  • Das Kernproblem ist, dass der Werbetext nicht „um die Scraping-Last auf den Servern zu reduzieren“, sondern „aus Sicherheitsgründen“ sagt. Für Website-Betreiber ist Scraping-Last heutzutage eine durchaus berechtigte Sorge; der Rest ist zwar nachvollziehbarer Ärger, hat aber mit dem unmittelbaren Problem eher wenig zu tun.
    Auch die Philips-Hue-Beleuchtungs-App zeigte jahrelang ein Banner mit „aus Sicherheitsgründen“, weil sie irgendwann die Steuerung der Lampen ohne Account verhindern wollte. Echte Sicherheit bedeutet, die gesamte Kommunikation in meinem eigenen Netzwerk zu halten, nicht externe Server und externe Authentifizierungssysteme hinzuzuziehen, nur um Geräte im Heimnetz zu steuern. Zum Glück blieb es bislang bei einer Warnung, und es funktioniert auch ohne Account weiterhin gut.

    • Inzwischen lese ich „aus Sicherheitsgründen“ als „für die Sicherheit unseres Geschäfts“.
    • Bot-Abwehr gehört für mich eindeutig zu Security-Arbeit, daher bin ich mir nicht sicher, ob diese Formulierung falsch ist.
    • Das Sicherheitsgerede von Hue hat mich irgendwann so genervt, dass ich auf eine Kombination aus Raspberry Pi, deCONZ-Dongle und Node-RED/Homebridge umgestiegen bin, und seitdem habe ich es kein bisschen bereut.
    • Der Login-Bildschirm sagt „zu deiner Sicherheit“, der Werbetext sagt „aus Sicherheitsgründen“, aber tatsächlich geht es darum, Scraping zu verhindern und Reddit selbst zu schützen. Wenn man nach Belegen sucht, dass New Reddit schwerer zu scrapen ist, bleibt am Ende nur übrig, dass es eben eine komplexe Web-App ist.
      Kleine Sites, die unter Scrapern leiden, tun mir leid, aber für Reddit empfinde ich wenig Mitleid. Wenn Google und andere viel Geld für API-Zugriff gezahlt haben, sehe ich nicht, warum sie nicht auch weiterhin nicht eingeloggten Zugriff unterstützen könnten, solange Old Reddit erhaltenswert ist. Ich glaube, ich habe auch CAPTCHA-Redirects gesehen; fraglich ist, ob es wirklich so schwer wäre, so etwas zu Old Reddit hinzuzufügen.
      Zynisch vermutet hat jemand Old Reddit ein 2-Sekunden-Rate-Limit verpasst, dann gesehen, dass die Scraping-Zahlen unverändert blieben, die Abschaltung beschlossen, und nach internen Konflikten kam der jetzige Kompromiss heraus.

  • In diesem Bereich sind dreiste Lügen absurd verbreitet und werden viel zu oft hingenommen. Cloudflare zeigte bis vor einigen Monaten noch „Bevor Sie mit example.com fortfahren, müssen wir die Sicherheit Ihrer Verbindung überprüfen“ an und hat es erst kürzlich ehrlicher formuliert: dass ein Dienst zur Abwehr bösartiger Bots den Nutzer überprüft.
    Ähnlich war Googles Begründung für die Entfernung von XSLT. Anfangs wurde Sicherheit als Hauptgrund genannt, aber bevor die tatsächliche Entfernung begann, stellte Google einen vollständig kompatiblen Ersatz als Erweiterung bereit und entkräftete damit die eigene Sicherheitslogik. Trotzdem hieß es in der eigentlichen Entfernungsphase weiter „aus Sicherheitsgründen“, obwohl man andere legitime Gründe ehrlich hätte nennen sollen. Nicht dass alle Browser-Hersteller XSLT entfernen wollten, stört mich, sondern wie Google es verpackt hat.

  • Unternehmen sagen gern zu allem „zu Ihrer Sicherheit“. Vor langer Zeit wurde mir in einem Convenience-Store gesagt, ich dürfe keine kleine tragbare Tasche mit hineinnehmen, und zwar zu meiner Sicherheit und der anderer Kunden. Man könnte jemanden mit einer leeren Tasche schlagen, und vielleicht gab es auch schon Überfälle, aber die eigentliche Sorge war mit ziemlicher Sicherheit Diebstahl.
    Ich hätte es viel mehr respektiert, wenn man ehrlich „Sicherheit“ durch „um die Gewinnmarge zu halten und zu steigern“ ersetzt hätte. Es ist schließlich selbstverständlich, dass der Zweck eines Geschäfts darin besteht, Geld zu verdienen.

  • Man kann zusammen mit Redirect-Plugins wie libredirect auf schreibgeschützte, datenschutzfreundliche Reddit-Frontends wie redlib, libreddit und teddit ausweichen. Abgesehen von den Entwicklern dieser Interfaces gibt es für niemanden einen Grund, Reddits neueste Zumutung direkt zu ertragen.

  • Mit old.reddit.com lässt sich die Login-Sperre für Subreddits ab 18, die nicht nur sexuelle, sondern auch andere sensible Inhalte umfassen, umgehen.
    Für Leute, die ohne Reddit-Account auf bestimmte Themen zugreifen wollen, ist diese Änderung schlechter. Reddit ist weiterhin eine riesige Wissensquelle, daher füge ich Suchanfragen oft site:reddit.com hinzu.

  • Reddit hat auch die JSON API entfernt und damit Tools wie lurker (https://tangled.org/oppi.li/lurker) blockiert, mit denen man Reddit ohne Account, Login-Sperre und JavaScript lesen konnte. Dass das irgendwann kommen würde, war klar; hochwertige nutzergenerierte Daten scheinen Reddits Schutzwall zu sein.

  • Old Reddit ist auch für Reddits Geschäftsinteressen nicht „sicher“. New Reddit verweigert inzwischen auf dem Smartphone komplett den Dienst und zwingt zum App-Download; in der App funktionieren übliche Adblocker nicht, sodass Reddit dort deutlich mehr Kontrolle hat als im Browser. Die alte Site ist mobil hingegen noch nutzbar.

    • Mit „Desktop-Website anfordern“ im Browser kann man den App-Zwang umgehen.

  • Auf Reddit und HN habe ich viele offensichtliche Bots und werbliches Marketing gesehen. Einer der wenigen Orte, an denen ich online noch interagiere, ist lobste.rs, weil man dort den meisten Nutzern glauben kann, dass sie echte Menschen sind.

  • Wenn man auf Mobilgeräten eine Weile Kommentare im neuen Reddit liest, erscheint eine nicht schließbare App-Installationssperre, die einem aufzwingt, dass „Reddit in der App besser ist“. Die einzige Möglichkeit, das ohne App-Installation zu umgehen, ist Old Reddit.
    Mehr als ein oder zwei Seiten einer sorgfältig gebauten mobilen Website anzusehen, scheint „unsicher“ zu sein; die Abschaltung von Old Reddit wirkt wie der Versuch, dieses Loch im App-Installations-Funnel zu stopfen.