Google entfernt 749 Millionen mit Anna’s Archive verknüpfte URLs aus den Suchergebnissen

• Anna’s Archive ist eine Meta-Suchmaschine für Shadow Libraries, über die sich raubkopierte E-Books und Materialien finden lassen, und wurde im Herbst 2022 gestartet
• In den vergangenen drei Jahren hat Google aufgrund von Urheberrechtsmeldungen durch Verlage und Autoren 749 Millionen URLs dieser Seite aus den Suchergebnissen entfernt
• Das entspricht 5 % aller urheberrechtsbezogenen URLs, die Google bislang bearbeitet hat, und ist deutlich mehr als bei The Pirate Bay
• Mehr als 1.000 Rechteinhaber, darunter Penguin Random House und John Wiley & Sons, haben DMCA-Anträge eingereicht; pro Woche werden rund 10 Millionen neue URLs gemeldet
• Trotz der massiven Entfernung sind die Hauptdomains von Anna’s Archive weiterhin erreichbar, und über die Suche nach dem Seitennamen lässt sich die Website bei Google weiterhin leicht finden

---

Überblick über Anna’s Archive

• Anna’s Archive ist eine Meta-Suchmaschine, mit der sich mehrere Shadow Libraries gleichzeitig durchsuchen lassen; sie dient dazu, raubkopierte Bücher und Materialien zu finden
  • Sie wurde im Herbst 2022 gestartet, direkt nachdem Z-Library ins Visier von US-Behörden geraten war
  • Ausgangspunkt war das Ziel, der Öffentlichkeit weiterhin „kostenlose“ Bücher und wissenschaftliche Arbeiten bereitzustellen
• In den drei Jahren seit dem Start wurde die Seite in mehreren Ländern gesperrt; zudem wurde in den USA Klage eingereicht wegen des Vorwurfs der unerlaubten Erfassung von 2,2 TB WorldCat-Daten
• Darüber hinaus unterstützt das Projekt KI-Forschende beim Datenzugang

Googles groß angelegte Entfernung

• Google entfernt URLs mit mutmaßlichen Urheberrechtsverletzungen auf Antrag von Rechteinhabern aus den Suchergebnissen
• Im Zusammenhang mit Anna’s Archive wurden insgesamt 784 Millionen URLs gemeldet, davon wurden 749 Millionen tatsächlich entfernt
  • Einige Links wurden ausgeschlossen, weil Google sie nicht indexiert hatte
• Zum Vergleich: Bei The Pirate Bay wurden 4,2 Millionen URLs entfernt, womit das Ausmaß bei Anna’s Archive deutlich größer ist
• Da die Seite zahlreiche länderspezifische Subdomains betreibt und sehr viele Seiten umfasst, ist auch die Zahl der betroffenen URLs hoch

5 % aller Google-Urheberrechtsentfernungen

• Laut Googles Transparenzbericht wurden seit 2012 insgesamt 15,1 Milliarden URLs wegen Urheberrechtsverletzungen gemeldet
  • Davon entfallen 5 % auf URLs im Zusammenhang mit Anna’s Archive
• Penguin Random House und John Wiley & Sons gehören zu den wichtigsten Meldern; mehr als 1.000 Verlage und Autoren haben DMCA-Anträge eingereicht
• Auch derzeit werden pro Woche zusätzlich rund 10 Millionen neue URLs gemeldet

Sichtbarkeit in den Suchergebnissen

• Durch die massenhafte Entfernung ist die Sichtbarkeit der Seite bei buchbezogenen Suchanfragen gesunken
  • Viele URLs werden nicht mehr angezeigt oder im Ranking herabgestuft
• Sucht man jedoch direkt nach „Anna’s Archive“, wird die Hauptdomain weiterhin weit oben angezeigt
• Trotz Googles Maßnahmen ist der Zugriff auf die Website selbst nicht blockiert

Reaktion und Grenzen der Verlagsbranche

• Für Verlage ist es schwierig, die Seite direkt zu blockieren, daher reichen sie fortlaufend Löschanträge bei Drittplattformen wie Google ein
• Trotz des rechtlichen Drucks sind zentrale Domains wie annas-archive.org, .li und .se weiterhin in Betrieb
• Im Originaltext gibt es keine zusätzlichen Hinweise auf künftige Maßnahmen oder politische Änderungen

[GN⁺]

Hacker-News-Kommentare

• Das mag seltsam klingen, aber ich habe festgestellt, dass Yandex eine ziemlich hervorragende Suchmaschine ist, wenn man Inhalte finden will, die wegen DMCA-Anfragen entfernt wurden.
  Wenn ich zum Beispiel einen Film streamen möchte, der nicht auf Netflix ist, sind die Suchergebnisse deutlich besser.
  Es fühlt sich an, als würde man wieder Google von 2005 benutzen.

  • Ich habe vor einigen Jahren angefangen, Yandex zu nutzen, um bittorrent infohashes zu finden.
    Google, Bing und DuckDuckGo lieferten dafür einfach keine brauchbaren Ergebnisse mehr.
    Heutzutage zeigen sie oft nur noch kurze Teiltreffer auf Seiten wie Blockchain-Explorern; ich weiß nicht, ob das Absicht ist oder ein Versuch von fuzzy matching.
    Für diesen Zweck ist das jedenfalls ein kompletter Fehlschlag.
  • Ich habe Kagi, Startpage, Ecosia, DDG und andere Suchmaschinen ausprobiert, und alle liefern relevantere Ergebnisse als Google.
    Google ist viel zu stark personalisiert.
  • Als Ukrainer macht es mich wütend, dass Yandex zu einem Propagandainstrument geworden ist, aber als Ingenieur habe ich Respekt vor ihrem über Jahrzehnte aufgebauten Forschungsvermächtnis und ihrer hervorragenden Suchtechnik.
  • Ich teste die Qualität von Suchmaschinen schon lange auf diese Weise.
    Eine gute Suchmaschine zeigt Piratenseiten an, und eine großartige Suchmaschine platziert sie über den Fake-Ergebnissen.
    Aber je besser eine Suchmaschine ist, desto eher zieht sie Aufmerksamkeit auf sich und die Ergebnisse werden entfernt.
    Dann ist es Zeit, sich etwas anderes zu suchen.
  • Lustigerweise hat meine Frau vor ein paar Tagen Geschichten über die Geschichte ihres Landes erzählt und dazu einen passenden Film empfohlen, aber bei Google, DDG, Bing und Brave war er nirgends zu finden.
    Bei Yandex tauchte er dagegen direkt unter den Top 3 auf.
    Nebenbei bemerkt ist DDG inzwischen fast genau wie Google und hat sogar gesponserte Ergebnisse.

• Anna’s Archive hat Google offenbar bereits alle Daten geliefert, die es fürs Gemini-Training brauchte, und jetzt tut Google so, als würde die Seite nicht existieren.

  • Ich frage mich, ob Anna’s Archive irgendwann einmal die Informationen der Welt organisiert und allgemein zugänglich gemacht hat.
  • Google betreibt freiwillig ein Transparenzprotokoll, und die Einhaltung des DMCA ist letztlich nur eine Frage der rechtlichen Auslegung.
    Es ist schwer nachzuvollziehen, warum Online-Communities daraus böswillige Verschwörungstheorien machen.

• Google sucht jetzt also wieder?
  Inzwischen benutzt die Chatbot-Marke meiner Wahl dieselben Informationen, ohne dass ich mich erst durch 100 SEO-Spam-Seiten kämpfen muss, und ich weiß nicht, wie man diesen Komfort noch schlagen soll.

  • Ich habe gehört, dass Chatbots weniger von Spam beeinflusst werden als Google. Ich frage mich, ob das wirklich stimmt.
  • Ich erinnere mich dunkel an eine Zeit, in der Google tatsächlich gesucht hat.
    (Cooler Nutzername.)
  • Chatbots haben keinen eigenen Index im Internet-Maßstab.
    Im Grunde hat man also nur darauf verzichtet, die Quellen der Informationen selbst mit Urteilsvermögen zu prüfen.
  • 25 bis 90 % der Links, die Chatbots liefern, sind Halluzinationen.
    Oder sie ersetzen am Ende doch nur eine Google-Suche.
  • LLM-basierte KI ist von Natur aus anfällig für Data-Poisoning-Angriffe.
    Eine echte AGI auf menschlichem Niveau würde solche Versuche erkennen, aber die heutigen Chatbots können das nicht.
    Dazu passend: NYTimes - AI Chatbot Prompts and Manipulation

• Ich suche bei Google überhaupt nichts, woran Google Anstoß nehmen könnte.
  Seriennummern, Firmen-Telefonnummern, wissenschaftliche Arbeiten, Bücher – all das suche ich über Yandex oder Brave.
  Es ist mir egal, was Google macht; ich nutze es sowieso nicht.

• Ich überlege, mir noch vor dem Verschwinden von Anna’s Archive alle z-archive-Torrents herunterzuladen.
  Wenn man die großen PDFs und nicht englischsprachigen Bücher weglässt, müsste das komprimiert auf zwei 32-TB-Laufwerke passen.
  https://annas-archive.org/torrents

  • Ist das Entfernen großer PDFs nicht ein ziemlich willkürliches Kriterium?
    PDFs sind oft wegen Farbe oder Auflösung groß, nicht wegen ihres Inhalts.
  • Ich habe früher Speicherplatz gespart, indem ich DPI und Farbtiefe reduziert und die Dateien dann wieder als PDF zusammengefügt habe.
    Man könnte auch verschiedene Ausgaben desselben Buchs automatisch erkennen und nur ein epub behalten und den Rest entfernen.
  • Ich würde auch gern ein Backup der englischen/deutschen/französischen Versionen anlegen.
    Allerdings sind HDDs und Dateisysteme ein Problem, deshalb müsste ich vielleicht selbst so etwas wie einen Torrent-Splitter bauen.
  • Ich ordne die Liste umgekehrt und fülle zuerst mit kleinen Dateien auf.

• https://annas-archive.org

• Ich habe den Inhalt solcher Seiten fast nie über Google gefunden.
  Die Seite selbst ist bereits gut nach Titel, Autor, Format und Datum indiziert, sodass die freie Suche völlig ausreicht.

  • Websuche wie bei Google ist stark bei ähnlichkeitssensitiver Suche.
    Wenn man zum Beispiel nach „a a a a ah ah ah ah dance song“ sucht, findet Google trotzdem „Million Voices“ von Otto Knows.
  • Aber haben solche Seiten überhaupt eine Volltextsuche?
    Ich glaube auch nicht, dass Google den Textkörper der Anna’s-Archive-Seiten indexieren würde.

• Nachdem Library Genesis kürzlich abgeschaltet wurde, scheint Anna’s Archive das letzte verbliebene Bucharchiv zu sein.
  Ich frage mich, ob es noch andere Alternativen gibt.

  • Es gibt Open-Slum.org, das von Anna’s Archive verlinkt wird.
  • Für Bücher empfehle ich WeLib.org, für Hörbücher AudiobookBay.

• Googles Marsch in die Bedeutungslosigkeit geht weiter.

  • Trotzdem entfallen weltweit noch immer 97 % der Suchanfragen auf Google.

• Die Websuche hat sich komplett verändert.

  • Es gibt immer mehr walled gardens, auf die Suchmaschinen keinen Zugriff haben.
  • Vieles ist auch wegen rechtlicher Einschränkungen nicht zugänglich.
  • Inzwischen muss man nicht nur Google, sondern auch Yandex, Kagi und ChatGPT zusammen nutzen.
  • Ich nutze zusätzlich meinen selbst erstellten Index Internet Places Database.