Das ArchiveTeam-Warrior-Projekt

 (warrior.archiveteam.org)
1 Punkte von GN⁺ 2024-08-04 | 1 Kommentare | Auf WhatsApp teilen
  • ArchiveTeam Warrior ist ein virtuelles Archivierungswerkzeug, mit dem man sich mit freien Ressourcen des eigenen Computers an den Arbeiten von ArchiveTeam zur Bewahrung möglicherweise verschwindender Webdaten beteiligen kann
  • Warrior lädt Websites herunter und lädt sie in das ArchiveTeam-Archiv hoch; Nutzer stellen vor allem Bandbreite und etwas Speicherplatz bereit
  • Läuft unter Windows, OS X und Linux; empfohlen wird VirtualBox, aber auch VMware oder ähnliche Virtual-Machine-Programme können verwendet werden
  • In VirtualBox importiert man die Appliance, startet die virtuelle Maschine und legt anschließend im Browser einen Nutzernamen sowie das Projekt fest, an dem man teilnehmen möchte
  • Die neueste Virtual-Machine-Appliance ist version 4.1; Projekte können statt in einer VM auch mit einer Docker-Warrior-Instanz ausgeführt werden

Was ArchiveTeam Warrior macht

  • ArchiveTeam Warrior ist ein auf virtuellen Maschinen basierendes Werkzeug zur Teilnahme an den Webarchivierungsarbeiten von ArchiveTeam
    • Es lädt Website-Daten herunter und lädt sie in das ArchiveTeam-Archiv hoch
    • Der Ablauf ist so gestaltet, dass man leicht mitmachen kann
  • Warrior läuft als virtuelle Maschine; Nutzer stellen Bandbreite und etwas Speicherplatz bereit
  • Als Ausführungsumgebungen werden Windows, OS X und Linux unterstützt
    • VirtualBox wird empfohlen
    • VMware oder ähnliche Programme können ebenfalls verwendet werden

Installation und Teilnahme

  • Start mit VirtualBox

    • Die Datei appliance herunterladen
    • In VirtualBox File > Import Appliance auswählen und die Datei öffnen
    • Nach dem Start der virtuellen Maschine werden die neuesten Updates geladen; anschließend erscheint die Aufforderung, einen Webbrowser zu starten

  • Warrior konfigurieren

    • http://localhost:8001/ aufrufen und die Settings-Seite prüfen
    • Wenn ein Nutzername gewählt wird, erscheint der Fortschritt im Leaderboard
    • Im Tab All projects kann man ein Projekt auswählen oder ArchiveTeam’s Choice wählen, damit automatisch das dringendste Projekt übernommen wird

  • Neueste Version und Docker-Alternative

    • Die Warrior-VM-Appliance wurde auf version 4.1 aktualisiert; der bisherige Link zur warrior3 appliance ist veraltet
    • Projekte können auch ohne VM-Appliance mit einer Docker-Warrior-Instanz ausgeführt werden; Details stehen im README des GitHub repository
    • Probleme und Feedback werden im Kanal #warrior auf hackint behandelt
    • Die Frequently Asked Questions können ebenfalls gelesen werden

ArchiveTeam und Internet Archive unterstützen

  • Das Internet Archive hostet die ArchiveTeam-Archive und unterhält über die Datenspeicherung hinaus eine Bibliothek, auf die jeder kostenlos zugreifen kann
    • Spenden sind über Donate to the Internet Archive möglich
    • Für das Mieten von Servern für ArchiveBot, rsync-Server usw. oder Spenden an ArchiveTeam-Mitglieder sollte man in den passenden IRC-Chaträumen nachfragen

Verfügbare Projekte

  • Zu den aktuellen Projekten gehören URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange und Periscope
    • Das YouTube-Projekt archiviert ausgewählte YouTube-Videos; es gibt den Hinweis, dass bei Video-URLs IP-Adressen gespeichert werden
    • Das GitHub-Projekt wird in Zusammenarbeit mit dem Internet Archive und GitHub durchgeführt
    • Das Periscope-Projekt befindet sich im Status PAUSED

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-08-04
Hacker-News-Kommentare

  • Solche Projekte sind unbedingt nötig, aber es braucht einen Weg, über das bloße Archivieren hinaus die Daten tatsächlich für die Öffentlichkeit nutzbar zu machen
    Reddit hätte es vermutlich nicht als Bedrohung empfunden, wenn jemand die Daten gescrapet und ein schwer zugängliches Backup erstellt hätte, aber ein verteiltes Node-Netzwerk, das eine Teilkopie von Reddit betreibt und die Daten an Local-first-Clients oder Lemmy-Mirrors liefert, hätte ihnen deutlich mehr Angst gemacht

    • Die meisten Projekte erstellen WARC-Dateien, bündeln sie, laden sie auf archive.org hoch und lassen sie dann in der Wayback Machine erscheinen: https://web.archive.org/
      Zur Einordnung: Archive Team ist getrennt vom Internet Archive
    • Reddit mochte Dienste, die die Daten spiegeln und öffentlich machen, ziemlich ungern und hat schließlich die API-Nutzungsbedingungen geändert, sodass solche Dienste die Daten löschen und schließen mussten
    • Ich bin nicht sicher, ob es hier wirklich ein Vorteil ist, ein Unternehmen zu bedrohen, das die API jederzeit ändern kann
      PushShift, Nitter und Youtube Vanced zeigen das
    • Man kann von einem P2P-ephemeren Offline-first-Internet träumen, das BGP obsolet macht und über DHT/virtuelle Maschinen einen global memoisierten adressierbaren Speicher für geteilte Inhalte/Berechnungen nutzt
      Die Identität von etwas wäre dabei seine eigene Zusammensetzung

  • Verwandte Beiträge:
    ArchiveTeam Warrior: imgur so weit wie möglich archivieren - https://news.ycombinator.com/item?id=35983510 - Mai 2023, 2 Kommentare
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - März 2022, 51 Kommentare
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - Dezember 2021, 71 Kommentare

  • Ich dachte, das müsste sich mit Docker betreiben lassen, und habe nach dem Repository gesucht; erfreulicherweise war schon alles vorbereitet
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • Die Einrichtung ist sehr einfach
    Da mein Internettarif jetzt unbegrenzt ist, fand ich es schön, auf diese kleine Weise beitragen zu können
    Ich wollte prüfen, ob sich das ArchiveTeam-Warrior-Skript auf einem ungenutzten Android-Handy ausführen lässt, aber direkt unterstützt wird das nicht, und es lag außerhalb meiner Fähigkeiten

    • Auf x86-Hardware war es als docker-compose-Container wirklich einfach zu betreiben
      Ich wünschte, ich hätte Zeit herauszufinden, wie man es auf einem Raspberry Pi in QEMU einrichtet; wenn so eine Compose-Datei veröffentlicht würde, könnten es wohl mehr Leute nutzen

  • Vor ein paar Monaten habe ich ein System entworfen, mit dem Menschen Speicherplatz zu Diensten wie archive.org beitragen können
    Wenn man sagt: „Ich möchte 100 GB archive.org-Inhalte hosten“, kommuniziert das System mit archive.org, findet die derzeit seltensten Inhalte und schiebt sie dem Nutzer zu
    Es gibt auch eine Suchfunktion, mit der man Inhalte finden kann, wenn man sagt: „Ich möchte Inhalt X aus diesem Netzwerk beziehen“
    Es ist eher ein dünner Wrapper über Torrent, aber derzeit gibt es so etwas nicht, und als ich Leute aus dem Archivbereich kontaktiert habe, stieß es auf wenig Interesse

    • Sollte IPFS nicht ursprünglich genau diese Rolle übernehmen?
    • Bei Archive Team gab es tatsächlich ein eingestelltes Projekt namens INTERNETARCHIVE.BAK, das im Grunde dieser Idee entsprach
      Allerdings würde man mit diesem Tool wegen Urheberrechtsverletzungen gegen das Gesetz verstoßen
    • Für Bücher gibt es bei libgen einen Tracker dieser Art: https://phillm.net/libgen-seeds-needed.php
      Im Moment scheint er kaputt zu sein
    • Es wäre schön gewesen, wenn irgendein Filecoin das gelöst hätte
      Man müsste einfach für eine feste Dauer und eine feste Zahl an Downloads das Hosting von Datenblöcken bezahlen
    • Wirklich eine gute Idee; ich frage mich, warum sie nicht aufgegriffen wurde
      Wurde ein Grund genannt?

  • Wer zur digitalen Bewahrung beitragen möchte, sollte in Betracht ziehen, die Warrior-Appliance oder einen Docker-Container zu betreiben

  • Ich sehe den Vorteil nicht ganz darin, dass Leute eine Website herunterladen und sie dann mit der von Archive Team bereitgestellten Archivkonfiguration hochladen
    Was ist besser daran, verglichen damit, dass Archive Team die Website selbst herunterlädt und in sein eigenes Archiv aufnimmt?

    • A) Es braucht weniger Ressourcen auf Seiten von Archive Team
      B) Und vermutlich noch wichtiger: Die Anfragen werden auf viele Quellen verteilt, wodurch es weniger wahrscheinlich ist, dass Rate-Limits greifen oder Sperren erfolgen
    • Archive Team ist nicht das Internet Archive
      Bevor man etwas zu archive.org schiebt, braucht man zuerst einen Ort, an den man es herunterladen kann

  • Ich frage mich, wie dieses Projekt verhindert, dass ich als Angreifer zufällige Müll-Daten einschleuse oder heruntergeladene Seiten auf eine bestimmte falsche Weise verändere.
    Über HTTP scheint das unmöglich zu sein, und bei HTTPS: Wer übernimmt die TLS-Terminierung?
    Wenn Warrior nur ein einfacher TCP-Proxy ist und Archive der TLS-Client, könnte es sicher sein, aber auf https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior scheint dieser Punkt nicht klar erklärt zu sein.

    • Es verhindert das nicht, aber in der Praxis ist das kein Problem.
      Das Ziel ist, in möglichst kurzer Zeit so viele Daten wie möglich zu sichern, bevor eine Website abgeschaltet wird.
      Lieber 1 % Müll-Daten untermischen, als wegen übertriebener Paranoia 30 % der Archivierungseffizienz zu verlieren.
      Bei HTTPS führt Warrior ganz wörtlich wget aus, speichert in WARC-Dateien und lädt diese Dateien auf den Tracking-Server hoch.

  • Ich würde gern mit einem Raspberry Pi beitragen, aber die fehlende ARM-Unterstützung ist etwas unpraktisch.
    Ich würde den Container gern einfach herunterladen, ausführen und fertig, aber es gibt keinen einfachen Workaround: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • Wenn man wget-at für ARM kompiliert, gibt es einige Konsistenzprobleme.
      Trotzdem kann es unter der QEMU-User-Mode-Emulation laufen, und auf einigen Hosts wird es tatsächlich so verwendet.

  • Beim Lesen des README bin ich auf folgenden Hinweis gestoßen:
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    Dort gibt es ein README mit einem Link zum Quellcode der neuen Version: https://github.com/ArchiveTeam/warrior4-vm
    Diese neue Version wird auch auf der Wiki-Startseite erwähnt.
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeam sollte die Download-URL der Appliance aktualisieren.