Ankündigung der S2-Einführung

 (s2.dev)
1 Punkte von GN⁺ 2024-12-22 | 1 Kommentare | Auf WhatsApp teilen

  • S2-Einführung

    • S2 ist ein Streaming-Datenspeicher für das Zeitalter der Cloud und eine Lösung zur Stärkung der Kernsysteme von Dateninfrastrukturen.
    • Es soll die serverlose Erfahrung bestehender Objektspeicher auf Streaming-Daten übertragen.
    • S2 betrachtet Streams als grundlegende Bausteine des Cloud-Speichers.

  • Was, wenn Streams Vorrang vor Objekten haben?

    • Objektspeicher eignen sich für ruhende Daten, während Stream-Speicher auf die Anforderungen bewegter Daten ausgelegt sind.
    • S2 verarbeitet Daten in Datensatz-Einheiten und verarbeitet auch bei mehreren gleichzeitigen Schreibenden alle Datensätze sequentiell.
    • Anders als bei S3 kann S2 Streams in Echtzeit verfolgen.

  • Serverless – was kostet das?

    • S2 wurde auf Basis der unbegrenzten Skalierbarkeit und Haltbarkeit von Objektspeichern aufgebaut.
    • Nutzer können für jeden Stream das Gleichgewicht zwischen Latenz und Kosten anpassen.
    • Es werden zwei Storage-Klassen bereitgestellt: Standard und Express, die auf AWS S3 Standard und S3 Express One Zone basieren.
    • Die Klasse Express bietet eine Latenz, die einem diskbasierten Cloud-Streaming-System ähnelt.

  • Die nächsten Schritte von S2

    • S2 basiert auf geprüfter Cloud-Infrastruktur und wurde mit einer Rust-Codebasis getestet.
    • Zurzeit werden gRPC API, Rust SDK und CLI bereitgestellt; die REST API ist noch in Entwicklung.
    • Künftige Pläne umfassen Kafka-Protokollkompatibilität, Multi-Region-Betrieb und eine angestrebte Latenz von unter 5 Millisekunden.
    • S2 ist eine passende Lösung für Anwender, die Cloud-Streaming ohne Beschränkung der Stream-Anzahl oder des Durchsatzes wünschen.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-12-22
Hacker News Kommentare
  • Es kann zu Markenrechtsproblemen mit Amazon führen, wenn man das Produkt S2 nennt und es als Technologie bewirbt, die AWS S3 verbessert.
  • Die API ist schön und ich würde sie gern im Projekt einsetzen, aber in der aktuellen Form scheint sie keine langfristige Perspektive zu haben. Wenn sie erfolgreich ist, wird AWS wahrscheinlich eine bessere Version bauen.
    • Es wäre sinnvoller gewesen, es als Endkundenprodukt wie Papertrail zu veröffentlichen.
    • Mit einem zusätzlichen S3-kompatiblen Backend könnte es ein starkes, cloud-unabhängiges Produkt werden.
  • Es wirkt eher wie WarpStream, liefert jedoch eine Low-Level-API statt Kafka-Kompatibilität.
    • Wenn es sich langfristig durchsetzt, wäre eine auf S3-Niveau liegende Streaming-API extrem wertvoll.
  • AWS verlangt für Internetübertragungen 0,09 $/GB, hier sind es nur 0,05 $/GB – ich frage mich, warum. Kann man auf Amazons inoffizielle Transferpreise zugreifen?
  • Die Technik ist spannend, aber schade, dass der Sourcecode nicht offen liegt. Wenn vollständiges Self-Hosting mit einer Lizenz wie FSL unterstützt würde, würde ich es als kommerziellen Service in Betracht ziehen.
  • Es scheint, als würde man ein Leben damit verbringen zu erklären, dass es kein S3 ist.
  • Ich würde mir wünschen, dass jemand etwas baut, das Stream-Events in eine zeitpunktbezogene, abfragbare Form bringt.
    • Ein Muster oder Framework, das Daten zu einem speicherintern abfragbaren Datensatz macht, wäre dafür besser als eine spezielle Datenbank.
  • Das Wertversprechen eines Servicemodells, bei dem ein Schreibvorgang erst anerkannt wird, nachdem er in S3 gespeichert wurde, ist verwirrend.
    • AWS könnte leicht einen protokollkompatiblen Service wie eine Kafka-Neuimplementierung aufsetzen.
  • Es ist schade, dass es kein Java SDK gibt. Da die meisten Firmen Spring oder Kafka Clients nutzen, erschwert das selbst einen PoC.
  • Es überschneidet sich zu stark mit AWS Kinesis Data Streams. Gut, dass AWS jetzt Konkurrenz bekommt.