- Arbeitet schnell und effizient mit FastCDC (Content Defined Chunking)
- Ein Tool, das bei Google Stadia verwendet wurde
- In der Regel entwickeln Spieleentwickler unter Windows und müssen auf einer Linux-Maschine ausführen
- Dafür wurden für schnelle Kopien die Open-Source-Tools
cdc_rsync und cdc_stream entwickelt
- CDC RSync
- Ähnlich wie bestehendes
rsync, synchronisiert aber etwa 3-mal schneller
- Der CDC-basierte Remote-Diff-Algorithmus ist bis zu etwa 30-mal schneller
- Wird übersprungen, wenn Zeitstempel/Dateigröße identisch sind
- Verwendet schnelle Komprimierung für alle Datenübertragungen
- Wenn sich eine Datei geändert hat, wird geprüft, welche Teile geändert wurden, und nur diese werden übertragen
- CDC Stream
- Vom Konzept her ähnlich wie
sshfs, aber für Lesegeschwindigkeit optimiert; etwa 2- bis 5-mal schneller
- Cached die gestreamten Daten auf dem Linux-Gerät
- Wenn eine Datei unter Windows geändert wurde und unter Linux erneut gelesen wird, werden nur die geänderten Teile gestreamt, der Rest wird aus dem Cache gelesen
- Verzeichnismetadaten arbeiten auf eine Streaming-freundliche Weise, wodurch
stat-Operationen sehr schnell sind
1 Kommentare
Ich verwende für die Verwaltung von Log-Dateien oft
rsync, daher finde ich es interessant, dass dieses Tool noch schneller sein soll.