Was mit TheNumbers.com passiert ist

• The Numbers, das Daten zu mehr als 78.000 Filmen bereitstellte, fiel am 5. März 2026 plötzlich aus; wegen massiven automatisierten Traffics und Sicherheits-Scans gegen ein 30 Jahre altes System wurde die bisherige Website aufgegeben und nur ein Minimalumfang wiederhergestellt
• Der Anteil menschlicher Nutzer am gesamten Traffic lag nur bei etwa 10 %; seit Dezember 2025 nahmen promptbasierte Datensammlung und agentenartiger AI-Traffic stark zu, sodass das Team rund 90 % seiner Arbeitszeit in die Wartung der alten Website steckte
• In den Logs fanden sich neben normalem Crawling auch Backdoor-Scans, die offenbar auf frühzeitigen Datenzugriff oder Manipulation abzielten; die tatsächliche Ausfallursache und die Angreifer wurden jedoch nicht bestätigt
• Da Daten von The Numbers als Entscheidungsgrundlage für Polymarkets Prognosemärkte zu Kinoeinspielergebnissen genutzt wurden, konnten Daten vor Veröffentlichung einen Handelsvorteil bieten; AI-Tools machen es zudem billig, Schwachstellen alter Websites zu erkunden
• AI-Crawler verursachen enorme Kosten und Ausfälle, ohne Leser zurückzubringen, und zerstören so die Austauschbeziehung des offenen Webs; besonders anfällig sind unabhängige Archive, Nachrichtenangebote, Foren und Referenzseiten, die auf alten Code und kleine Teams angewiesen sind

---

Die Woche, in der die Datengrundlage der Filmindustrie verschwand

• The Numbers ist eine Filmdaten-Website mit mehr als 8 Millionen jährlichen Besuchern, die Box-Office-Umsätze, Produktionsbudgets, Home-Video- und Streaming-Daten selbst recherchiert und bereitstellt
  • Journalisten, Wissenschaft, Filmschaffende, Prognosemärkte und Guinness World Records nutzen sie als maßgebliche Quelle
  • Anfang 2026 enthielt die Datenbank 78.396 Filme, 178.375 Kinoauswertungs-Datensätze und 236.176 Personen
• Nachdem die Website am 5. März 2026 ausfiel, blieb sie mehr als eine Woche offline und wurde am 13. März auf neuer Infrastruktur in einer reduzierten Version wiederhergestellt
  • Frühere Charts, Filmseiten, der Report Builder und weitere Funktionen verschwanden; übrig blieben nur Minimalfunktionen rund um aktuelle Box-Office-Zahlen
  • Weil ohne konkrete Erklärung nur eine Rebuild-Meldung angezeigt wurde, reagierten Nutzer verärgert; es kamen sogar Vorwürfe auf, Funktionen seien absichtlich gekürzt worden, um Nutzer zu kostenpflichtigen Angeboten zu bewegen

Ein 30 Jahre altes System, gestartet 1997

• Der Mathematiker und frühere IBM-Softwareentwickler Bruce Nash startete am 17. Oktober 1997 eine Geocities-Website, die 300 Filme verfolgte
  • Ausgangspunkt war, HTML aus einer Access-Datenbank zu erzeugen, es auf Geocities hochzuladen und in den Foren der Hollywood Stock Exchange auf Box-Office-Analysen hinzuweisen, die beim Handel mit Filmaktien helfen sollten
  • Der damalige Rückblick zum 20-jährigen Bestehen ist heute nur noch als archivierte Fassung im Internet Archive verfügbar
• Die über Jahrzehnte gewachsene alte Website lieferte mit rund 160.000 Quelldateien etwa 2 Millionen Seiten aus

Zwei Traffic-Wellen durch AI-Crawler

• In den ersten 25 Jahren waren Menschen, relativ regelkonforme Suchmaschinen und Crawler für private Projekte die wichtigsten Besucher; übermäßige Datensammler ließen sich identifizieren und blockieren
• Die erste Veränderung begann um 2024, als Crawler für AI-Training zu den Suchmaschinen-Crawlern hinzukamen
  • AI-Crawler halten sich tendenziell weniger an Regeln als Suchmaschinen, wodurch der Verwaltungsaufwand für einen stabilen Betrieb zunahm
  • 2024 überstieg automatisierter Traffic im gesamten Web den menschlichen Traffic; spätere Cloudflare-Auswertungen sahen Bots bei 57,5 % der Webseitenanfragen
• Die zweite Welle begann um Dezember 2025; AI-Agenten, die auf Prompts hin Websites abrufen, sowie von Nutzern selbst erstellte Agenten erhöhten den Traffic weiter
  • Beim Traffic von The Numbers entfielen nur etwa 10 % auf Menschen, die direkt auf der Website navigierten; der Rest waren AI-Bots und automatisierter Traffic
  • Von Dezember bis Anfang März verwendete das Team rund 90 % seiner Arbeitszeit darauf, die alte Website am Laufen zu halten, und entwickelte das neue System in der verbleibenden Zeit

Der Versuch, Crawler auf den Lizenzweg zu lenken

• Das Team platzierte auf der Website LLM-lesbare Hinweise, damit Modelle statt direkter Datensammlung antworten, wie man eine Lizenz erwerben kann
  • Danach stiegen Anfragen zu Datenlizenzen um etwa das Zehnfache
• Die Maßnahmen zur Traffic-Entlastung wirkten, beseitigten aber nicht die strukturelle Belastung, ein 30 Jahre altes Codefundament mit 160.000 Dateien schützen und zugleich weiter betreiben zu müssen

Serverausfall und Spuren von Sicherheits-Scans

• Der Server brach in den frühen Morgenstunden des 5. März zusammen; zunächst vermutete das Team ausschließlich die Last durch AI-Traffic als Ursache
• In den Logs fanden sich neben Zugriffen auf normale URLs auch Versuche, Backdoors zu finden
  • Möglicherweise versuchte jemand, vor Veröffentlichung auf Website-Daten zuzugreifen oder den Nutzern angezeigte Daten zu manipulieren
  • Es hatte über Monate automatisiertes Crawling und Sondieren gegeben, doch was den endgültigen Ausfall auslöste und wer dahinterstand, wurde nicht bestätigt
• Auf Rat von Cybersecurity-Experten wurde der alte Server nicht wieder eingeschaltet
  • Eine Wiederherstellung aus Backups hätte 160.000 Legacy-Dateien erneut Angreifern ausgesetzt, die bereits lange nach Schwachstellen gesucht hatten
  • Man ging davon aus, dass der alte Server binnen Minuten nach dem Neustart wieder ausfallen könnte, und baute deshalb auf neuer Infrastruktur eine Minimalversion

Wie Prognosemärkte Filmdaten einen Geldwert gaben

• Polymarket betreibt Märkte zu den Ergebnissen von Film-Startwochenenden und legt The Numbers’ Daily Box Office Performance als Kriterium für die Marktabrechnung fest
• Einzelne Wochenendmärkte haben meist ein Volumen von Zehntausenden bis Hunderttausenden Dollar; über alle gleichzeitig offenen Kinoerfolgs-Märkte hinweg stehen teils Millionen Dollar auf dem Spiel
• Wer die Daten von The Numbers vor der Veröffentlichung sehen könnte, würde jede Woche Ergebnisse früher kennen als andere Trader und entsprechend vorab handeln können
• Prognosemärkte können nahezu jede Art von Daten in Geldwert verwandeln; günstige AI-Tools senken die technische Hürde für Website-Einbrüche, und großflächige Agenten-Bots verstärken die Verwundbarkeit bestehender Web-Infrastruktur

Wie AI die Einstiegshürde für Cyberangriffe senkt

• Anthropic veröffentlichte im November 2025 die erste dokumentierte, von AI koordinierte Cyber-Spionagekampagne
  • Eine staatlich unterstützte Organisation griff rund 30 Einrichtungen an, wobei AI 80 bis 90 % der Arbeit übernahm
  • Menschen griffen pro Kampagne nur an 4 bis 6 Entscheidungspunkten ein
  • Die Hürde für anspruchsvolle Cyberangriffe ist deutlich gesunken und dürfte weiter sinken
• Laut Anthropics früherem Threat Report nutzen auch Kriminelle mit begrenztem technischem Können AI für komplexe Aufgaben wie Ransomware-Entwicklung, die früher jahrelanges Training erfordert hätten
• Das autonome AI-Penetration-Testing-Tool XBOW reichte rund 1.060 Schwachstellen ein und stieg damit auf Platz 1 der US-Rangliste von HackerOne
• Eine 30 Jahre alte Website, auf der bekannte Schwachstellen wahrscheinlich sind, ist eine geeignete Angriffsfläche, die AI-Tools billig sondieren können; die Kompetenzbarriere, die kleine Websites früher schützte, ist stark geschwächt

The Numbers baut komplett neu auf

• Obwohl die öffentliche Website offline war, blieb die wichtigste Umsatzquelle von The Numbers unberührt, sodass das Unternehmen selbst weiterbestand
  • Die kostenlose Website war in den vergangenen Jahren nicht stark von Werbung abhängig
  • Hauptgeschäft sind OpusData für den Verkauf großer Datenmengen, vergleichende Analyseberichte für Filmschaffende und Investoren sowie der Business Report
• Da eine Website für 78.396 Filme, 178.375 Veröffentlichungsdatensätze und 236.176 Personen von Grund auf neu aufgebaut werden muss, lassen sich die Funktionen nicht auf einmal wiederherstellen
• Das Team unterscheidet sechs Nutzergruppen, mit denen eine öffentliche Website im Jahr 2026 umgehen muss
  • Menschen
  • Suchmaschinen
  • LLM-Trainingsläufe
  • promptbasierter AI-Traffic
  • agentenartige AI
  • Trader auf Prognosemärkten
• Früher standen drei Faktoren im Mittelpunkt: Inhalte, Werbung und SEO; heute müssen bei jeder Designentscheidung etwa 8 bis 10 Faktoren berücksichtigt werden
• Ziel der neuen Website ist es, alle sechs Nutzertypen zu unterstützen, Funktionen für den OpusData-Dienst und Business-Report-Abonnenten hinzuzufügen und normalen Nutzern die bestehenden Daten in verbesserter Form zurückzugeben

Crawling-Kosten und Besucher, die nicht zurückkommen

• Cloudflares Auswertung nach Plattform zeigte große Unterschiede darin, wie viel Crawling eine Website zulässt, um einen einzelnen empfohlenen Besucher zu erhalten
  • Google crawlt etwa 5 Seiten pro Besucher
  • OpenAI crawlt mehr als 1.000 Seiten
  • Anthropic crawlt mehr als 38.000 Seiten
• Die Austauschbeziehung des offenen Webs, bei der Suchmaschinen Inhalte lesen und dafür Leser zurückschicken, funktioniert bei AI-Crawlern nicht
• Massencrawling erhöht die Bandbreitenkosten kleiner Websites und kann ganze Dienste zum Ausfall bringen

Schäden durch Massencrawling auf anderen Websites

• Bei Read the Docs lud ein Crawler innerhalb eines Monats 73 TB komprimiertes HTML herunter und verursachte Bandbreitenkosten von über 5.000 Dollar
• iFixit verzeichnete durch den Anthropic-Crawler eine Million Anfragen an einem Tag
• Der 3D-Scan-Anbieter Triplegangers mit sieben Mitarbeitern fiel während der Geschäftszeiten wegen eines OpenAI-Bots aus; der CEO wertete dies praktisch als DDoS-Angriff
• Der Betreiber von SourceHut verbringt jede Woche 20 bis 100 % seiner Arbeitszeit mit der Abwehr von AI-Crawlern und erlebt Dutzende kurze Ausfälle pro Woche
• Die Linux-Newsseite LWN stufte Crawler-Traffic von Millionen IPs als Distributed-Denial-of-Service-Angriff ein
• Rund 97 % des vom GNOME-Open-Source-Projekt gemessenen Traffics stammte von Bots
• Eine Universitätsbibliothek blockierte innerhalb von 48 Stunden 16.000 IP-Adressen, um ihren Katalogdienst aufrechtzuerhalten

Kosten und Leserrückgang bei Wikipedia

• Die Wikimedia Foundation ermittelte im April 2025, dass Bots etwa 35 % der Seitenaufrufe auf Wikipedia ausmachen, aber mindestens 65 % des Traffics mit den höchsten Verarbeitungskosten
  • Weil Crawler massenhaft auch Seiten abrufen, die kaum von Menschen gelesen werden, ist ihr Kostenanteil höher
• Sechs Monate später lagen die menschlichen Seitenaufrufe auf Wikipedia etwa 8 % unter dem Vorjahr
  • Nutzer beziehen Wissen zunehmend aus AI-Zusammenfassungen, statt Wikipedia direkt zu besuchen
  • AI-Systeme ziehen Inhalte in großem Umfang ab und verringern zugleich die Leserschaft, die die ursprüngliche Website erhalten würde

Wie die Annahmen des alten Internets zerbrechen

• AI-Tools sind mächtig und zugleich zerstörerisch; sie werden in realen Umgebungen laufend von der Öffentlichkeit getestet
• Das bisherige offene Web wurde auf folgenden Annahmen aufgebaut, die heute nicht mehr zur Lage passen
  • Die meisten Besucher sind Menschen
  • Traffic ist im Großen und Ganzen proportional zur Zahl der Leser
  • Die Kosten für den Betrieb einer Website stehen in Verbindung mit dem Wert, den der Betreiber erhält
• Unabhängig von der Frage, ob AI nützlich ist, ist das heutige Web nicht auf die Macht und den Umfang allgemein zugänglicher AI-Modelle vorbereitet

Experimente mit Crawling-Gebühren und standardmäßiger Blockade

• Cloudflare führte pay-per-crawl ein, womit Websites AI-Crawlern pro Seite Gebühren berechnen können
• Später kündigte Cloudflare ein pay-per-use-Modell an, bei dem Publisher bezahlt werden, wenn Inhalte tatsächlich in AI-Antworten verwendet werden
• Ab dem 15. September will Cloudflare bei Kunden werbefinanzierte Seiten standardmäßig für mixed-use-Crawler blockieren, die nicht zahlen
• Ob solche Richtlinien funktionieren, hängt davon ab, ob AI-Unternehmen sich technisch nicht daran vorbeischieben und am Abrechnungssystem teilnehmen

Eine Warnung für das gesamte unabhängige Web

• The Numbers verlor zwischen übermäßigem Maschinen-Traffic und möglichem Eindringen seine gesamte Website, konnte aber überleben, weil die öffentliche Website nicht das ganze Geschäft war
• Der deutsche Textilhersteller ZEGO bestand 37 Jahre lang, meldete jedoch Insolvenz an, nachdem ein Cyberangriff im März die Produktion sechs Wochen lang lahmgelegt hatte
• Unabhängige Archive, Hobby-Datenbanken, Lokalnachrichten, Foren und Referenzseiten bewahren angesammeltes gemeinsames Wissen, während sie auf alten Code und kleine Teams oder einzelne Betreiber angewiesen sind
• The Numbers erholt sich mit einer besseren Struktur; kleine Websites, die für das alte Internet gebaut wurden, weiter zu nutzen und zu unterstützen, ist direkt mit ihrem Überleben verbunden

[GN⁺]

Hacker-News-Kommentare

• Ganz ernsthaft gefragt: Könnten Prognosemärkte nicht eine neue Einnahmequelle für TheNumbers.com sein? Einige der Angreifer könnten versucht haben, Zahlen vor der Veröffentlichung zu bekommen, um mit sicherem Wissen auf Prognosemärkten zu wetten
  Das wäre klarer Insiderhandel und höchst unethisch, aber der PolyMarket-CEO hat auch schon gesagt, dass Insiderhandel teilweise zum Zweck des Dienstes gehöre: https://youtu.be/ZN4njIQcSR4?si=ztyTtgjeHSJbNjSZ&t=1566

• Der Kern ist nicht nur, dass Agenten auf die Website einhämmern, sondern dass es potenziell ausnutzbare Schwachstellen gibt. Darum wurde die Seite abgeschaltet und kam später mit stark reduzierten Daten und Design zurück
  Wenn böswillige Nutzer auf die noch nicht veröffentlichten Daten von The Numbers zugreifen, können sie jede Woche vor anderen Tradern die Antwort kennen und Front-Running betreiben

  • Falls Trader auf Prognosemärkten versucht haben, Ergebnisse per Front-Running auszunutzen, sollte die Seite des Prognosemarkts das mit einer festen Handelspausen-Pufferzeit vor Marktschluss verhindern

• Wenn man die Reddit-Vermutung sieht, das sei ein absichtlicher Exit Scam gewesen, um die Gratisseite kaputtzumachen und Nutzer zu einem Bezahlprodukt zu drängen, fragt man sich, ob es künftig noch weniger freie Ressourcen geben wird
  Früher habe ich kleine Tools als Open Source veröffentlicht, in der Hoffnung, dass jemand sie zur Lösung ähnlicher Probleme nutzt. Heute zögert man, zum freien Web beizutragen, weil das alles abgesaugt, zu Trainingsdaten gemacht und später monetarisiert wird. Betreiber nützlicher kostenloser Websites haben allen Grund, wütend zu sein

  • Das Abschöpfen und Monetarisieren fremder Websites gab es schon vor dem Boom großer Sprachmodelle; verändert hat sich vor allem der Umfang
    Es bleibt nicht bei der unangenehmen Nutzung der eigenen Arbeit, sondern verursacht auch höhere Wartungskosten und mehr Zeitaufwand, also echten Schaden
  • Ich habe kürzlich ein Open-Source-Projekt mit 200 GitHub-Stars auf privat gestellt. Es war okay, wenn andere Projekte darauf aufbauten und die Quelle nannten, aber große Sprachmodelle saugen alles auf, verarbeiten es und geben es dann als ihr eigenes aus
  • Warum sollte man etwas kostenlos bereitstellen, wenn andere am Ende anderswo Geld zahlen müssen, um auf diese Daten zuzugreifen? Der rücksichtslose Einsatz von AI könnte das ganze Internet in Richtung extremer Gier treiben, ähnlich wie Google kleine Websites zerstört hat, indem es ausnutzte, dass kaum jemand auf Seite 2 der Suchergebnisse schaut
  • Ich veröffentliche so viel wie möglich als Open Source, weil ich hoffe, dass Modelle durch das Training auf meiner Software besser werden
  • In der nächsten AGPL, vielleicht sogar in der normalen GPL, wird wohl ausdrücklich stehen, dass Training geschlossener Modelle mit dem Quellmaterial verboten ist. Idealerweise sollte das auch für Modelle mit offenen Gewichten gelten, wenn sie nicht den gesamten Trainingsprozess offenlegen

• Vor ein paar Jahren während COVID-19 habe ich eine Website betrieben, auf der man US-Hilfsgelder für kleine Unternehmen sowie vom DOJ angeklagte betrügerische Kredite durchsuchen konnte. Rund 10 GB an vollständig öffentlichen Daten konnten kostenlos heruntergeladen werden, und an Spenden kamen insgesamt etwa 2.000 Dollar zusammen
  Doch AI-Crawler gingen nicht über den Komplett-Download-Link auf der Startseite, sondern klickten sich durch alle Kombinationen von Suchfiltern und luden dabei Dutzende Terabyte HTML herunter. Trotz CloudFront-Cache und effizientem Backend lagen allein die monatlichen Netzwerkkosten bei rund 1.000 Dollar, sodass ich die Seite im darauffolgenden Monat geschlossen habe

  • Mit dem öffentlichen Dataset von BigQuery können Nutzer auch komplexe SQL-Abfragen ausführen, wobei die Kosten vom Nutzer getragen werden und der Anbieter nur für den Speicherplatz zahlt
  • Dedizierte Server von Hetzner haben unbegrenzten Inbound- und Outbound-Traffic, und über die Server-Auktion bekommt man leistungsfähige Maschinen für etwa 40 Dollar im Monat
    Wenn man allerdings die Zahlung verpasst, kann der Server innerhalb von etwa einer Woche gelöscht werden, also auf keinen Fall in Verzug geraten
  • Es könnten statt AI-Crawlern auch DDoS-Angreifer sein, die Stimmung machen wollen, um den Kauf von Sicherheitsdiensten zu fördern und bestehende Browser-Monopole zu stärken
  • AWS-basierter Aufbau ist wie eine finanzielle Zeitbombe
  • Ich frage mich, warum AI-Crawler eine größere Last verursacht haben als herkömmliche Crawler wie Suchmaschinen. Ich würde gern wissen, ob sie gründlicher gecrawlt oder häufiger vorbeigekommen sind

• Brauchen wir nicht Open-Source-Technikmuster und Bibliotheken, um auf die veränderte Zusammensetzung des Traffics zu reagieren? Millionen kleiner Websites und Kreative haben nicht die Mittel, sich direkt gegen groß angelegten automatisierten Zugriff zu verteidigen, und je nützlicher der Inhalt ist, desto aggressiver wird gecrawlt, was Betriebskosten und Instabilität erhöht
  Man braucht gemeinschaftlich verwaltete Werkzeuge für Agentenerkennung, Rate Limiting, Traffic-Klassifizierung, Zugriffsrichtlinien, Caching, Verifizierungsverfahren, Logging, Herkunftsprüfung und Nutzungskontrolle. Statt dass jeder Betreiber das Rad neu erfindet, sollte es starke gemeinsame Regeln geben, die zu heutigem automatisiertem Traffic passen

  • Gegen Botnets braucht es eine gemeinsame Reaktion. Gutartige Bots, die sich zu erkennen geben und Regeln befolgen, lassen sich leicht blockieren, aber bösartige Bots, die sich wie echte Nutzer verhalten und sich hinter Residential Proxies verstecken, sind fast nicht aufzuhalten
    Es gibt sogar Unternehmen, die den Proxy-Zugang zu infizierten Smart-TVs und Handys offen verkaufen. Könnte man nicht eine Datenbank dieser IPs aufbauen und sie blockieren? Mit einem Blockhinweis könnte man Nutzer dazu bewegen, infizierte Geräte im eigenen Haushalt zu prüfen und das Problem an der Wurzel anzugehen: https://news.ycombinator.com/item?id=49000864
  • Die Lösung der Community war bisher robots.txt-Befolgung, aber das ist rechtlich nicht bindend, sondern nur ein Gentlemen’s Agreement, das AI-Crawler ignoriert haben
    Am Ende landet man wieder bei den klassischen Mitteln zur Kontrolle von Traffic-Spitzen. Die vorgeschlagenen Werkzeuge werden seit Jahrzehnten gegen den Slashdot-Effekt, DDoS und übermäßiges Crawling durch Suchmaschinen eingesetzt, und Unternehmen wie Cloudflare führen diesen Bereich bereits an
  • Ich glaube nicht, dass es dafür eine technokratische technische Lösung gibt. Reiche Leute DDoSen das Internet ohne besonderen Grund mit Geld, also sollte man die Verantwortlichen ausfindig machen und mit Geldstrafen oder Gefängnis belegen. Bei den Residential-Proxy-Anbietern könnte man anfangen

• AI-Unternehmen sozialisieren die Kosten und privatisieren die Gewinne wirklich. Websites wie The Numbers tragen die Kosten, um den AI-Ansturm auszuhalten, bekommen von den AI-Unternehmen aber nichts zurück

  • Allerdings soll sich nach dem Hinzufügen von Hinweisen für große Sprachmodelle auf der Website die Zahl der Lizenzanfragen verzehnfacht haben. Ob tatsächlich Geld aus Verträgen geflossen ist, steht im Artikel nicht
    Wenn Crawler für hochwertige vollständige Daten Lizenzgebühren gezahlt hätten, wäre das kein Problem gewesen; entscheidend ist, dass sie sogar nach Schwachstellen suchten, um an Daten vor der Veröffentlichung zu kommen
  • Man bekommt nicht nur nichts zurück, sondern trägt auch noch zusätzliche Kosten

• Der frei zugängliche Bereich wirkt ideal dafür, ihn als Static Site Generator neu aufzubauen und mit einem bot-erkennenden CDN zu kombinieren. Dann ließe er sich wohl lange Zeit zu vertretbaren Kosten betreiben
  Mich würden auch die bestehende bzw. neue Architektur und die zur Wartung der Website eingeführten Abmilderungs- und Skalierungsstrategien interessieren

  • Dieses Problem wurde schon vor 20 Jahren mit Varnish Cache und Coral CDN gelöst. Bots zeigen nur, wie ineffizient moderne Webserver geworden sind
    Selbst schlampige PHP-Sites aus den 2000ern schafften rund 200 Anfragen pro Sekunde, statische Sites über 1.000, und Node.js warb mit 100.000 pro Sekunde dank kooperativem Threading. Heute führen Sites dagegen wegen ORM und dem N+1-Problem Hunderte bis Tausende Datenbankabfragen aus, brauchen über 500 ms für eine Antwort und geraten schon bei 1.000 gleichzeitigen Nutzern unter Druck
    Sprach- und datenbankunabhängiges Russian-Doll-Caching und die präzise Cache-Invalidierung abhängiger Daten haben sich nicht durchgesetzt. Ich habe sogar Laravels touch-Events und Redis-Abfrage-Caches ausprobiert, aber Cache-Invalidierung ist praktisch ein ungelöstes Problem; man sollte sie nicht selbst implementieren, sondern von Anfang an Strategien wie Packages und Sharding einplanen
    Das Web hätte zu einem P2P-contentadressierten Speicher werden sollen, bei dem Inhalte wie bei BitTorrent von nahen Peers kommen, aber HTTPS/SSL und das Browser-Sicherheitsmodell standen im Weg. Möglicherweise bräuchte es sogar Vertrauensnetzwerke oder Zero-Knowledge-Proofs, sodass wir wohl vorerst bei banalen Mensch-Bestätigungsbildschirmen festhängen
  • Vom Ansatz her lässt sich schon mit fast ausschließlich statischen Veröffentlichungen ein hervorragendes Sicherheitsmodell bauen, und ohnehin schien es Zeit für ein Rewrite zu sein. Mit Hilfe großer Sprachmodelle könnte das inzwischen sogar nur ein Wochenendprojekt sein

• 2015 habe ich Applaudience gestartet, das damals als Einziger Echtzeit-Daten zu Kinokartenverkäufen lieferte, und im Bereinigungsprozess habe ich die Zahlen oft mit denen von TheNumbers.com verglichen
  Inzwischen mache ich etwas anderes, aber es ist immer noch die selbstgebaute Technik, die ich am meisten mag, daher würde ich sie gern irgendwann wiederbeleben

• Die Crawler großer AI-Unternehmen lassen sich in robots.txt jeweils mit Disallow: / für ClaudeBot, Claude-SearchBot, Claude-User, GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, Google-Extended-Factual, Bingbot blockieren

  • Das funktioniert nur bei Crawlern, die sich an die Regeln halten. Bots, die Verbrauchergeräte wie Smart-TVs oder Handy-Apps nutzen und dafür manchmal sogar als Gegenleistung für Internetzugang vergüten, halten sich nicht daran. Möglicherweise werden sogar kompromittierte Geräte wie gehackte Zahnbürsten eingesetzt: https://news.ycombinator.com/item?id=49000864
  • Nützlich, aber eher ein Alles-erlauben-oder-alles-blockieren-Ansatz. Es wäre gut, wenn Google crawl-delay unterstützen würde, damit man es an die Serverkapazität anpassen kann, aber das wird nicht unterstützt: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec#syntax
    Bei einer Blockierung dürfte auch der Traffic aus der Suche weiter zurückgehen
  • ClaudeBot hatte zumindest bis letzten Monat einen Bug, bei dem der abschließende Slash von Verzeichnis-URLs entfernt wurde. Im Link ist zwar ein Slash, aber der Bot fragt zuerst ohne an, bekommt dann die Weiterleitung von Caddy und ruft danach die korrekte URL erneut auf
    Dadurch entsteht bei den meisten Unterverzeichnis-URLs jeweils eine zusätzliche unnötige Anfrage
  • 90 % des Bot-Traffics in meinem laufenden Site-Netzwerk stammen von Headless Chrome über Residential Bots und sind praktisch nicht blockierbar. Nicht einmal Google kann sie stoppen, wodurch sogar die AdSense-Zahlen aufgebläht werden
  • Das ist ungefähr so, als würde man einen Sticker mit „nicht essen“ auf eine Bento-Box kleben und erwarten, dass ich sie dann nicht esse

• Ich betreibe die kleine Site http://radar.lv, die alte russischsprachige Radiosendungen archiviert; früher kamen 5 % des Traffics aus den USA, in letzter Zeit aber 90 %
  Zum Glück kann ich bis zu 1 TB pro Monat verkraften, und gegen das Crawling selbst habe ich nichts, aber ich sorge mich um die Stabilität für echte Besucher. Ich überlege, ob ich die von Cloudflare kürzlich eingeführte Besuchs-Bezahlfunktion aktivieren soll
  Dazu kommt, dass mein persönlicher Blog zwar einen Static Site Generator nutzt, dieses Archiv aber auf einem alten Drupal läuft, das seit Jahren keine Sicherheitsupdates mehr bekommt