S3 Express ist alles, was Sie brauchen

• AWS’ neue Storage-Klasse mit niedriger Latenz, "S3 Express One Zone", erhält in der Data-Infrastructure-Community viel Aufmerksamkeit
  • Der Datenzugriff ist 10-mal schneller, die Kosten für API-Requests sind 50 % günstiger. Es können mehrere Millionen Requests pro Minute verarbeitet werden
• Die Storage-Klasse S3 Express ist pro GiB 8-mal teurer als das bisherige S3 Standard und daher als "primärer" Speicher für große Datensysteme ungeeignet
• Die Kosten für API-Operationen sind zwar 50 % günstiger, aber nicht extrem niedrig, sodass sie weiterhin nicht zu Workloads passen, die zuvor wegen der Kosten der S3-API unpraktisch waren
• S3 Express berechnet für alle API-Operationen über 512 KiB (Schreiben + Lesen) Gebühren pro GiB
  • Anders gesagt: Jede API-Operation enthält 512 KiB "kostenlose" Bandbreite, und erst darüber hinaus fallen Kosten an
• Da es sich jedoch um eine One-Zone-Storage-Klasse handelt, müssen Datensysteme ihre Daten manuell in zwei AZs replizieren, um gegen den Ausfall einer einzelnen AZ gewappnet zu sein
  • Die Kosten für das zweimalige Schreiben von Daten in zwei AZs sind ähnlich hoch wie die Kosten für die manuelle Replikation von Daten auf Anwendungsebene

Neue Chancen für moderne Dateninfrastruktur

• Die neue Storage-Klasse eröffnet neue Möglichkeiten, mit derselben Architektur und demselben Code zwischen niedriger Latenz bei hohen Kosten und hoher Latenz bei niedrigen Kosten abzuwägen
• Alle modernen Datensysteme müssen nun nicht mehr abhängig von der Verfügbarkeit lokaler Festplatten oder von Block Storage (EBS) entworfen werden, sondern können vollständig auf Object Storage basieren
• Daten können einfach in einem Bucket mit S3 Express und niedriger Latenz gespeichert und anschließend asynchron in einen S3-Standard-Bucket verschoben werden. Da die meisten modernen Datensysteme bereits Komprimierungsfunktionen besitzen, ist "Storage Tiering" praktisch kostenlos

Meinung von GN⁺

Der wichtigste Punkt dieses Artikels ist der Ausblick darauf, welche Veränderungen AWS’ neue Storage-Klasse S3 Express One Zone für die Dateninfrastruktur bringen könnte. Diese Storage-Klasse eröffnet neue Chancen, Kosten und Leistung von Datensystemen grundlegend zu verbessern, und könnte dadurch die Art und Weise, wie Daten verwaltet und gespeichert werden, revolutionieren. Insbesondere die Möglichkeit, alle Datensysteme rund um Object Storage aufzubauen, dürfte für viele Unternehmen und Entwickler eine attraktive Option sein. Es ist zu erwarten, dass diese Veränderung die Zukunft der Dateninfrastruktur flexibler und kosteneffizienter machen wird.

[kuroneko]

Ich bin gespannt, wie es genutzt werden wird.

[heycalmdown]

Ich hatte erst gestern noch einmal nach WarpStream gesucht, deshalb füge ich den Link bei
https://de.news.hada.io/topic?id=10234

[GN⁺]

Hacker-News-Kommentare

• Die meisten produktiven Speichersysteme/Datenbanken auf S3-Basis investieren erheblichen Aufwand in den Aufbau einer SSD-/Memory-Caching-Schicht, um produktive Performance zu erreichen.

  • S3 Express kommt an die zufällige Lesegeschwindigkeit von HDDs heran, sodass sich produktive Systeme auch ohne SSD-Cache bauen lassen.
  • Viele Systeme werden weiterhin einen SSD-Cache behalten, aber ein MVP kann nun ohne SSD-Cache aufgebaut werden, und die Latenz bei Cold Queries sinkt deutlich.
  • Da ich gerade eine Vektordatenbank auf Object Storage aufbaue, kommt diese Technologie genau zum richtigen Zeitpunkt.

• Die AWS-S3-Express-Speicherkosten sind 8-mal höher als bei S3 Standard, aber für moderne Datenspeichersysteme ist das kein Problem.

  • Daten können problemlos in einem S3-Express-Bucket mit niedriger Latenz gespeichert und asynchron komprimiert in einen S3-Standard-Bucket verschoben werden.
  • Die meisten modernen Datensysteme verfügen bereits über Komprimierung, daher ist „Storage Tiering“ praktisch kostenlos.
  • Ich erwarte eine Zukunft, in der die meisten datenintensiven Apps S3 als primäre Storage-Schicht verwenden.

• Vor ein paar Wochen haben wir S3 Express bei der Suchmaschine Quickwit getestet.

  • Mit der Performance waren wir zufrieden, vom Preis jedoch enttäuscht.
  • Für bestimmte Use Cases könnte der Preis angemessen sein, aber ich gehe davon aus, dass die meisten Nutzer beim bestehenden S3 bleiben und lokales SSD-Caching hinzufügen werden.

• Als zusätzlicher Kontext: warpstream baut ein Kafka-kompatibles Streaming-System, das S3 als Object Storage verwendet.

  • Dadurch können günstige Zone-Transfer-Kosten und automatisches Storage Tiering genutzt werden, um Betriebs- und Wartungskosten des Systems zu senken.
  • Die Latenz durch die Lese-/Schreibgeschwindigkeit von S3 war ein Problem, aber mit S3 Express kann man bei diesen latenzsensiblen Anwendungen nun mit dem Managed-Produkt von Confluent Kafka konkurrieren.

• Ich habe das Problem gelöst, indem ich Dateien lokal in Redis gecacht habe, bevor ich sie zu S3 hochgeladen habe.

  • Wenn die Codebase eine Datei benötigt, schaut sie zuerst in Redis nach; wenn sie dort nicht vorhanden ist, wird sie geholt und erneut gecacht.

• Ich verstehe nicht, warum EFS nicht mehr Aufmerksamkeit bekommt, obwohl es S3 weit überlegen ist.

  • Es lässt sich im System als Laufwerk mounten, zwischen Systemen teilen und hat bereits sehr niedrige Latenzen.
  • Da es EFS schon gibt, bin ich mir nicht sicher, wie nützlich S3 Express tatsächlich ist.

• Ich frage mich, ob die Formulierung „X is all you Need“ erstmals im Paper „Attention is all you need“ verwendet wurde.

  • Dieses Paper führte den Transformer in die Welt ein.

• Falls das ein in Rust geschriebenes S3 mit niedriger Latenz ist, dann ist es nach mehreren Jahren Entwicklung endlich veröffentlicht worden.

• Ich frage mich, für welche Use Cases die neue S3-Express-Schicht die Performance verbessert und ob die 8-fachen Mehrkosten es wert sind.

• Viele S3-Implementierungen wirken wie ein transparenter Download auf die Festplatte, aber tatsächlich ist es nicht einfach so, dass man „das Netzwerk als Festplatte benutzt“.