Meta (ehemals Facebook) hat das intern verwendete Hochleistungs-Framework zur Datenkomprimierung, 'OpenZL', als Open Source veröffentlicht. OpenZL ist insbesondere für die Verarbeitung enormer Mengen spezialisierter Datensätze optimiert, wie sie bei KI- und Machine-Learning-Workloads anfallen, und bietet gleichzeitig hohe Kompressionsraten und hohe Geschwindigkeit, die die Grenzen bisheriger allgemeiner Kompressionslösungen übertreffen.
Merkmale und Funktionen
Das größte Merkmal von OpenZL ist das Format-Aware-Kompressionsverfahren, das maßgeschneiderte Kompressoren erzeugt, die für das jeweilige Datenformat optimiert sind. Durch die Analyse der Datenstruktur wird der effizienteste Kompressionsalgorithmus erstellt. So werden die für Rechenzentrums-Workloads erforderlichen hohen Verarbeitungsgeschwindigkeiten beibehalten und zugleich Kompressionsraten erreicht, die mit allgemeinen Kompressoren nicht möglich waren.
Außerdem sind alle erzeugten spezialisierten Kompressoren mit einem einzigen allgemeinen Dekompressor kompatibel, was die Systemwartung erleichtert. Zusätzlich bietet das Tool 'Trace Visualizer' die Möglichkeit, den Kompressionsprozess visuell zu analysieren.
Leistungsdaten (basierend auf den SAO-Daten des Silesia Compression Corpus)
| Kategorie | OpenZL | zstd -3 | xz -9 |
|---|---|---|---|
| Kompressionsrate | x2.06 | x1.31 | x1.64 |
| Kompressionsgeschwindigkeit | 203 MB/s | 115 MB/s | 3.1 MB/s |
| Dekompressionsgeschwindigkeit | 822 MB/s | 890 MB/s | 30 MB/s |
Es wird erwartet, dass Metas Open-Source-Veröffentlichung von OpenZL dazu beiträgt, die Kosten für Datenspeicherung und -übertragung in KI und vielen anderen Branchen zu senken, in denen die Verarbeitung großer Datenmengen unerlässlich ist, und die Arbeitseffizienz deutlich zu steigern.
3 Kommentare
OpenZL: Open-Source-Komprimierungs-Framework mit Erkennung von Dateiformaten
Zur Orientierung siehe auch die von einer KI übersetzte Einführung von Facebook
Beim Thema Komprimierung gibt Meta echt den Ton an, krass.
zstdwar ja auch schon ein großer Fortschritt.Wenn sie etwas intern schon gut genutzt haben und es dann veröffentlichen ...
heißt das wohl, dass noch ein größeres Ding unterwegs ist.