AWS hat die Komprimierung von S3 von gzip auf zstd umgestellt und die Größe um etwa 30 % reduziert

• Auf die Frage, wie sehr das von Yann Collet entwickelte zstd unnötigen Ballast reduziert hat, antwortete Adrian Cockcroft so
• Bei der Exabyte-Skalierung von S3 bedeuten 30 % eine enorme Kosteneinsparung
• Auch Twitter soll durch die Umstellung von HDFS auf zstd jedes Jahr mehrere Milliarden Won eingespart haben (~ mid 8 figs/yr)

[alstjr7375]

Uber ist ebenfalls von GZIP/SNAPPY auf ZSTD umgestiegen.
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/

[jaehong747]

zstd ist wirklich beeindruckend!

Im Link gibt es Vergleichsmaterial zur Kompressionsleistung, deshalb teile ich es hier.
https://github.com/facebook/zstd

[jaehong747]

Ich habe heute zum ersten Mal zstd benutzt.
Es war auf dem Mac standardmäßig vorinstalliert.

Komprimieren: zstd file => file.zst
Entpacken: unzstd file.zst => file

[xguru]

• Renaissance der Kompressionsalgorithmen
• Erfahrungsbericht: Durch ein Dateisystem-Upgrade mehrere Millionen Dollar an SSD-Kosten gespart
• Arch Linux ersetzt das Paket-Komprimierungstool von xz durch Zstandard