Wayback-Machine-Downloader

 (github.com)
9 Punkte von xguru 2021-07-13 | 4 Kommentare | Auf WhatsApp teilen

  • Open-Source-Tool zum Herunterladen einer Website ganz oder teilweise aus den vom Internet Archive Wayback Machine archivierten Daten

  • Lädt die neuesten Dateien einer Website / alle Dateien nach Datum / Dateien für einen bestimmten Zeitraum (from ~ to) in der Verzeichnisstruktur herunter

  • Erstellt automatisch eine index.html-Seite, die sich mit Apache/Nginx verwenden lässt

  • Lädt die Originalversion herunter, nicht die von der Wayback Machine modifizierte Version

  • Mit der Option --list können ohne Download nur die URLs als JSON gespeichert werden

  • Ruby-Open-Source

Verwandte Beiträge

4 Kommentare

 
ffdd270 2021-07-13

Ich würde gern einen lokalen Wayback-Machine-Dienst bauen … aber ich muss erst das Projekt abschließen, an dem ich gerade arbeite, bevor ich weitermachen kann =m = … wirklich schade.

Bei der Wayback Machine sind Bilder kaputt und die UI ist mies (...), und Pocket speichert nicht die Seite selbst, sondern den Originalinhalt, wobei es auch Seiten gibt, bei denen das Speichern gar nicht funktioniert. Ich würde gern ein Open-Source-Projekt machen, das Seiten zuschneidet und dann auf dem lokalen Rechner des Nutzers oder an einem entfernten Ort speichert, die bislang gespeicherten Seiten anschließend wie bei Pocket hübsch als Liste anzeigt und beim Anklicken zur archivierten Seite führt.
 
lineaa 2021-07-14

Es scheint, dass Bilder in manchen Fällen nur dann korrekt funktionieren, wenn man beim Speichern die Option „Save outlinks“ aktiviert.

Ich warte erst einmal ab .. hehe
 
xguru 2021-07-14

Ich werde auch warten.

Außerdem ... wenn ihr zusätzlich auch mit React erstellte Websites gut archivieren könntet ... hohoho
 
galadbran 2021-07-13

Ich werde warten, hehe