Visualisierung aller ISBNs

 (annas-archive.org)
2 Punkte von GN⁺ 2025-01-11 | 1 Kommentare | Auf WhatsApp teilen

  • ISBN-Visualisierung

    • Anna's Archive bietet den größten offenen Buchkatalog der Menschheitsgeschichte.
    • Jedes Pixel steht für 2.500 ISBNs; wenn eine Datei vorhanden ist, wird das Pixel grün angezeigt.
    • Nur 16 % aller Bücher sind gesichert, und es ist noch viel mehr Arbeit nötig.

  • Hintergrund

    • Anna's Archive erstellt mithilfe von ISBN-Nummern einen Buchkatalog, um das Wissen der Menschheit zu sichern.
    • ISBNs werden seit den 1970er Jahren den meisten in den meisten Ländern veröffentlichten Büchern zugewiesen.
    • Das System funktioniert dezentral ohne zentrale Autorität; die Nummern werden in der Reihenfolge Länder, große Verlage und kleine Verlage vergeben.
    • Anna's Archive scrapt verschiedene Metadatenquellen wie ISBNdb, Worldcat und Google Books und verfügt dadurch über die größten offenen Buch-Metadaten.
    • Es ist wichtig, seltene und gefährdete Bücher zu identifizieren und zu bewahren.

  • Visualisierung

    • Verschiedene Datensätze können einzeln betrachtet und über ein Dropdown-Menü sowie Buttons umgeschaltet werden.
    • Zu den Datensätzen gehören Anna's Archive, Google Books, Goodreads und Internet Archive.
    • In der Visualisierung lassen sich Muster wie regelmäßige Linien und Blöcke sowie leere Bereiche erkennen.

  • Preisgeld von 10.000 $

    • Es gibt ein Preisgeld zur Verbesserung der Visualisierung; Open-Source-Code muss bis zum 31. Januar 2025 eingereicht werden.
    • Die beste Einreichung erhält 6.000 $, die zweite 3.000 $ und die dritte 1.000 $; ausgezahlt wird in Monero (XMR).
    • Auch wenn die Mindestanforderungen nicht erfüllt werden, kann ein Teil des Preisgelds ausgezahlt werden.
    • Einreichungen müssen die HTML-Datei anpassen, um die Visualisierung zu verbessern, und sowohl auf Desktop als auch mobil gut funktionieren.
    • Zusatzpunkte werden für Benutzerfreundlichkeit und visuelle Attraktivität vergeben.

  • Code

    • Der Code zur Bilderzeugung und Beispiele befinden sich in bestimmten Verzeichnissen.
    • Ein komprimiertes Datenformat von 75 MB wird verwendet, um ISBN-Informationen bereitzustellen.
    • Für die Teilnahme am Preisgeld ist die Nutzung dieses Formats nicht erforderlich, aber es ist das bequemste Format für den Einstieg.
    • Der gesamte Code muss als Open Source bereitgestellt werden.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-01-11
Hacker-News-Kommentare

  • Da unten ein Kopfgeld zu sehen ist, werfe ich meine Gewinnchancen damit wohl weg, aber diese Visualisierung scheint sich perfekt auf eine Hilbert-Kurve abbilden zu lassen [0]
    Wenn man die Daten wie hier zu „Streifen“ macht, können Punkte, die in der Sortierung nahe beieinanderliegen, ziemlich weit voneinander entfernt sein. Eine Bewegung um eine Zeile nach unten auf der Y-Achse überspringt eine ganze Datenzeile, während die Entfernung auf der X-Achse 1:1 den Originaldaten entspricht
    Bei einer Abbildung auf eine Hilbert-Kurve verlieren X- und Y-Achse selbst zwar ihre Bedeutung, aber Punkte, die in der sortierten Liste nahe beieinanderliegen, liegen auch im Ausgabebild visuell nahe beieinander
    Bei ISBNs steht der erste Teil für das Land, der zweite für den Verlag, der dritte für den Titel, am Ende gibt es eine Prüfsumme; ich würde also vermutlich die Prüfsumme entfernen und die Teile ohne Bindestriche jeweils als große Zahlen sortieren
    Dann würden die großen Bereiche, die von den großen Verlagsländern eingenommen werden, wie „Inseln“ aussehen, und innerhalb dieser Inseln würden die Verlags-Codes als helle Punkte erscheinen. Wenn man solche Bereiche auch noch beschriftet, gäbe es dafür Bonuspunkte
    Ich habe vor einiger Zeit für ein Vorstellungsgespräch einmal etwas gebaut, das diese Methode auf Wetterdaten anwendet [1]. Die Daten nach Jahreszeiten werden dabei zusammengefasst, sodass die Saisonalität sehr deutlich sichtbar wird
    [0] https://en.wikipedia.org/wiki/Hilbert_curve
    [1] https://graypegg.com/hilbert (Wenn ihr mit diesem Code https://github.com/graypegg/hilbertcurveplayground das Kopfgeld angehen wollt, könnt ihr ihn als Referenz nutzen. Wenn ihr ihn wiederverwendet, hätte ich zumindest gern, dass mein Name erwähnt wird, aber verhindern kann ich es nicht)

    • Es gibt auch die Gilbert-Kurve, eine verallgemeinerte Hilbert-Kurve für rechteckige Bereiche, die keine Zweierpotenzen sind [0], sowie eine Online-Demo [1]
      [0] https://github.com/jakubcerveny/gilbert
      [1] https://jakubcerveny.github.io/gilbert/demo/
    • Ich frage mich, welche Eigenschaft die Hilbert-Kurve zum Beispiel gegenüber einem Schlangenmuster wünschenswert macht. Auch bei einem Schlangenmuster wären benachbarte ISBNs in der Visualisierung Nachbarn
      Bei der Hilbert-Kurve mache ich mir Sorgen, dass sie das Ergebnis so aussehen lässt, als gebe es deutliche „quadratische“ Abschnitte in den Daten, obwohl das in Wirklichkeit nur ein Produkt der Kurvenstruktur ist [0]. In diesem Sinne ist die aktuelle Visualisierung nützlicher, weil man die Position der einzelnen Länder sofort erkennen kann
      [0] https://raw.githubusercontent.com/jakubcerveny/gilbert/maste...

  • Das Problem ist, dass ISBNs nicht hierarchisch sind. Man kauft ISBNs blockweise, oder man kann sie gegen einen absurden Aufpreis auch einzeln kaufen. Ich sage das als jemand, der einmal eine gekauft hat, um ein einziges Buch neu aufzulegen
    Deshalb zeigt diese Visualisierung nichts besonders Interessantes oder Nützliches
    Eine Visualisierung mit der Klassifikation der Library of Congress oder der Dewey-Dezimalklassifikation wäre meiner Meinung nach deutlich nützlicher, besonders wenn sie mit Public-Domain- und urheberrechtsfreien Repositorien und Katalogen verknüpft wäre. Etwa als interaktive, visuelle Version der Materialien von John Mark Ockerbloom
    https://onlinebooks.library.upenn.edu/

    • ISBNs sind hierarchisch. Ich weiß nicht, was du meinst. Wie Gallien sind auch ISBNs in mehrere Teile gegliedert; ein Teil steht für die Sprache, ein anderer für den Verlag, der letzte für den Titel. Der letzte Teil ist eine Prüfsumme https://en.wikipedia.org/wiki/ISBN#Overview
    • Diese Visualisierung zeigt, was sie zeigen will: hauptsächlich, wie viele Bücher der Welt sie besitzen. Das hat nichts mit Hierarchie zu tun
    • An der Menge der schwarzen Pixel sieht man auch, dass ISBNs viel schneller zugeteilt werden, als sie tatsächlich genutzt werden
      Das Bild hat 1000×800 Pixel, und pro Pixel stehen 2500 ISBNs, visualisiert werden also 2 Milliarden ISBNs. ISBN-13 besteht aus 12 Ziffern plus einer Prüfziffer; eigentlich könnte man also erwarten, dass das aktuelle Bild 500-mal größer oder dichter wäre
      Die aktuelle Größe bedeutet wohl, dass nur ISBNs mit den Präfixen 978 und 979 enthalten sind, und da die untere Hälfte deutlich dünner belegt ist, dürfte sie vermutlich dem neuen 979-Bereich entsprechen

  • Der Beschreibung nach sollte man rote und grüne Pixel unterscheiden können, aber wegen meiner Farbsehschwäche dachte ich, ich könne sie nicht sehen. Ich sehe nur Rot und Schwarz
    Aber selbst mit einer Browser-Erweiterung zur Korrektur von Farbsehschwäche kann ich nicht mehr Farben unterscheiden. Ich frage mich, ob das nur bei mir so ist oder ob mit dem Diagramm etwas nicht stimmt

    • Zur Einordnung: Ich habe keine Farbsehschwäche und sehe rote, grüne und schwarze Pixel. Für das bloße Auge wirkt das Diagramm nicht seltsam
      Scroll nach unten zum interaktiven Visualisierungstool und stelle auf „Files in Anna's Archive [md5]“ um; dann werden die Positionen der grünen Pixel grau hervorgehoben
    • Wenn du wie ich eine Rot-Grün-Schwäche hast, kannst du Folgendes versuchen
      Rechtsklicke auf das Bild, wähle „Inspect“ und füge dem Element einen neuen CSS-Filter hue-rotate hinzu
      element { max-width: 100%; margin: 0 auto; filter: hue-rotate(-90deg); }
      Normalerweise verwende ich filter: saturate(100);, aber bei diesem Bild hat das nicht gut funktioniert. Den Drehwinkel musst du eventuell anpassen; bei mir passten -90 Grad am besten
    • Das Diagramm selbst sieht in Ordnung aus, und es gibt tatsächlich rote und ein paar grüne Pixel. Leider scheint es eher ein Problem mit der Erweiterung zu sein
    • Ich habe auch eine Farbsehschwäche, und dieses Diagramm ist nicht gut
    • Ich sehe grüne Punkte und ein paar Zeilen aus grünen Punkten. Hast du hineingezoomt?

  • Anna's Archive ist eines der Weltwunder. Selbst wenn die Menschheit sich fast selbst vernichten würde, gäbe es Hoffnung auf einen relativ schnellen Wiederaufbau, solange Anna's Archive überlebt

    • Du sagst „relativ schneller Wiederaufbau“; wenn dafür Selbstvernichtung eine notwendige Voraussetzung ist, ist das dann wirklich etwas Gutes?

  • Die Server-IP scheint in der EU gesperrt zu sein. Über Ziggo-Internet in den Niederlanden erscheint diese Meldung
    „Diese Website wurde gesperrt
    Europäische Sanktionen
    Der Rat der Europäischen Union hat beschlossen, dass die Websites von RT (ehemals Russia Today) und Sputnik News nicht mehr übertragen werden dürfen. Die Website, auf die Sie zugreifen möchten, fällt unter diese europäischen Sanktionen
    VodafoneZiggo ist verpflichtet, die Sanktionen umzusetzen, und hat die Website daher gesperrt“

    • In Polen lässt sie sich problemlos öffnen. Stattdessen kann man diesen Link verwenden
      https://web.archive.org/web/20250106112552/https://annas-arc...
    • Update: Gelöst, indem ich die DNS-Server-Einstellungen geändert habe, sodass der Server, den ich ohnehin selbst betreibe, nicht an den ISP weiterleitet, sondern Root-DNS verwendet
    • In Frankreich kein Problem
    • Einen eigenen rekursiven Resolver zu betreiben hat gewisse Vorteile
    • In Finnland kein Problem

  • Sieht noch jemand diese Meldung?
    „Dieser Server konnte nicht beweisen, dass er annas-archive.org ist. Sein Sicherheitszertifikat wurde für *.hs.llnwd.net ausgestellt. Das kann auf eine Fehlkonfiguration zurückzuführen sein oder darauf, dass ein Angreifer Ihre Verbindung abfängt“

    • Bei mir auch. Wenn ich bei EE Internet in Großbritannien eine DNS-Abfrage für annas-archive.org mache, wird die Adresse www.ukispcourtorders.co.uk zurückgegeben, und dort erscheint ebenfalls eine Sicherheitswarnung
      Wenn man die Warnung auf irgendeiner der Seiten ignoriert und fortfährt, erhält man einen HTTP-400-Fehler
      Laut Wikipedia war www.ukispcourtorders.co.uk früher eine Website, die gesperrte Domains und die zugehörigen Gerichtsbeschlüsse auflistete
      https://en.wikipedia.org/wiki/List_of_websites_blocked_in_th...
    • Nein, das klingt so, als würde bei dir eine Art Man-in-the-Middle-Angriff stattfinden. Die Domain selbst sieht allerdings nach einem normalen CDN aus
    • Über das DNS eines finnischen ISP erscheint ein normal wirkendes Zertifikat, ausgestellt von Google Trust Services
    • Bei mir genauso

  • In dieser Grafik ist ziemlich schwer zu erkennen, was wozu gehört. Wenn jemand Bookland, also 978, markieren würde, wäre die Orientierung wohl etwas einfacher

    • Genau das Ziel des in diesem Beitrag angekündigten Bountys ist es, eine leichter verständliche Visualisierung zu erstellen

  • Ist es illegal, die ISBN-Datei von dort herunterzuladen und zu verwenden? Ich verstehe nicht, was problematisch daran sein soll, solche Informationen zu besitzen

    • Wenn es eine Seite ist, die auf libgen und sci-hub verlinkt, wird sie sich vermutlich nicht allzu sehr um Urheberrecht sorgen

  • Es heißt: „Jedes Pixel steht für 2.500 ISBNs. Wenn wir die Datei zu dieser ISBN haben, machen wir das Pixel grüner“, aber ich weiß nicht, was grüner bedeuten soll. Ich sehe keine abgestuften Grüntöne
    Und kann man schwarze Pixel als nicht registrierte ISBNs verstehen?

    • Ich würde empfehlen, einen Test auf Farbsehschwäche zu machen. Das Grün ist sehr deutlich, besonders etwa 40 % von oben im Gesamtbild
    • Wenn man genau hinsieht, gibt es eindeutig einige bräunliche Pixel und dunkelgrüne Pixel

  • Bei mir erscheint diese Meldung
    „Europäische Sanktionen
    Der Rat der Europäischen Union hat beschlossen, dass die Websites von RT (ehemals Russia Today) und Sputnik News nicht mehr übertragen werden dürfen. Die Website, auf die Sie zugreifen möchten, fällt unter diese europäischen Sanktionen“

    • Diese Website wird auf DNS-Ebene zensiert, aber offenbar wurde die falsche Fehlerseite ausgewählt
      In Italien scheitert es einfach mit NS_ERROR_CONNECTION_REFUSED
    • Von einer europäischen IP aus lässt sie sich hier problemlos öffnen
    • Man kann DNS auf etwas wie 1.1.1.1 (Cloudflare) oder 8.8.8.8 (Google) umstellen