Garage - Open-Source-kompatibler verteilter Objektspeicher für S3

• Amazon-S3-kompatibler verteilter Objektspeicher-Dienst, entwickelt für Self-Hosting im kleinen bis mittleren Maßstab
• Entwickelt für Storage-Cluster, die aus Nodes bestehen, die an unterschiedlichen physischen Standorten laufen
  • Unterstützt Multi-Site und bleibt dabei leichtgewichtig
  • Hohe Resilienz: robust gegenüber Netzwerkausfällen, Netzwerklatenz, Festplattenausfällen und Fehlern von Systemadministratoren
• Bietet ein abhängigkeitenfreies Binary, das auf allen Linux-Distributionen läuft
• Schnelle Bereitstellung, sicherer Betrieb: administratorenfreundlich
• Unterstützte Funktionen
  • Kompatibel mit der S3-API (nicht vollständig)
  • Geo-Distribution: speichert Datenkopien an mehreren Standorten für Ausfallszenarien
  • Einfache Bereitstellung. Keine externen Abhängigkeiten
  • Flexible Topologie: Nodes lassen sich einfach hinzufügen/entfernen, automatisches Rebalancing
  • Unterstützt mehrere Replikationsmodi: 1,2,3,5,7,,,
  • Deduplizierung und optional Komprimierung (Zstd)
  • Kein RAFT, das die Geschwindigkeit beeinträchtigt
  • Webserver für statisches Website-Hosting
  • Buckets können mehrere Aliasse besitzen
  • API für Cluster-Management
  • Stellt Metriken im Prometheus-Datenformat bereit
  • Integration mit Kubernetes und Nomad
  • Unterstützung für IP-Änderungen
  • K2V-API (experimentell): Key/Value-Storage-API

[sftblw]

Die Homepage ist https://garagehq.deuxfleurs.fr/

[xguru]

Hacker-News-Kommentare

• Nach 2 Jahren Nutzung von Minio auf Garage umgestiegen

  • Minio hat Schwierigkeiten bei der Verarbeitung kleiner Dateien
  • SSDs lösen das Problem teilweise, HDDs jedoch nicht
  • Selbst im synchronen Modus kommt es bei Minio zu Leistungseinbußen
  • Nach dem Umstieg auf Garage eine 20- bis 30-fache Leistungssteigerung erlebt

• Es wird ein inhaltsadressierbarer Blob-Storage benötigt

  • Wenn unveränderliche Blobs per Hash gespeichert werden, lassen sich Komplexität und Performance-Overhead verringern
  • In Kombination mit Soft Delete werden alle Vorgänge idempotent, und Blobs lassen sich leicht cachen
  • Es gibt groß angelegte Lösungen wie IPFS, aber für lokale Deployments wird eine S3-Alternative benötigt

• Garage lange genutzt, aber das AWS-sigv4-Protokoll ist umständlich

  • API-Schlüssel sollen per Header gesendet werden
  • Dateien sollen ohne Verwendung des AWS SDK gesendet und empfangen werden können
  • Es besteht kein Interesse an den Sicherheitsvorteilen von AWS sigv4
  • Es wäre wünschenswert, andere Authentifizierungsmethoden in Betracht zu ziehen

• SeaweedFS ist ebenfalls hervorragend

  • SeaweedFS GitHub-Link

• Der geringe Speicherverbrauch von Garage wird sehr geschätzt

  • Es wird eine Funktion benötigt, um einige Buckets automatisch nach AWS S3 zu sichern

• Garage unterstützt die Replikation von Storage in Paaren

  • Bei einer 10-GB-Festplatte und einer 1-TB-Festplatte wird nur eine RAID1-ähnliche Spiegelung unterstützt
  • Die Speicherkapazität ist auf 10 GB begrenzt

• Apache Ozone ist eine Alternative für Objektspeicher, die auf Hadoop läuft

  • Apache Ozone-Link

• Es wird lokal eine einfache Lösung mit S3-Kompatibilität benötigt

  • Es wird gefragt, ob es etwas Empfehlenswertes für Entwicklungsarbeit und Tests gibt