WarpStream: Kafka ist tot, lang lebe Kafka!

• WarpStream ist eine direkt auf S3 aufgebaute Daten-Streaming-Plattform mit Kafka-Protokollkompatibilität
• Wird als zustandsloses einzelnes Go-Binary bereitgestellt, daher sind weder lokale Festplatten zur Verwaltung noch Broker zum Rebalancing noch ZooKeeper für den Betrieb erforderlich
• Da Daten direkt mit S3 ausgetauscht werden, ist es 5- bis 10-mal günstiger als Kafka (bei großem Kafka-Umfang können mehr als 80 % der Infrastrukturkosten darauf entfallen)
• Kafka ist eine sehr gute Software, die 2011 für Rechenzentren entwickelt wurde, eignet sich aber nicht für moderne Workloads
  • Wirtschaftlichkeit: Aufgrund seines Designs verursacht die Replikationsstrategie von Kafka enorme Bandbreitenkosten zwischen AZs
  • Betriebsaufwand: Der Betrieb eines Kafka-Clusters erfordert ein eigenes Team und komplexe Custom-Tools
• WarpStream läuft direkt auf dem Objektspeicher mehrerer Clouds (AWS S3, GCP GCS, Azure Blob Storage)
• Derzeit in der Developer Preview

[xguru]

Sehen Sie sich auch die von GN⁺ zusammengefasste Version an. https://de.news.hada.io/topic?id=10254

[pseudojo]

Ein Tool, das man statt zusätzlicher Layer mit großer Vorsicht handhaben muss. Bei Tools dieser Art besteht immer die Gefahr einer Kostenexplosion. (* ausgenommen, wenn es im eigenen Rechenzentrum z. B. mit minio betrieben wird)

[ehlegeth]

Ein interessanter Ansatz, der die Ausrichtung auf disaggregated storage nutzt.
Ich bin gespannt, wie Themen wie Caching und Ähnliches gehandhabt wurden.

[xguru]

Der Titel des Blogbeitrags ist zwar etwas reißerisch, aber als leichte Alternative zu Kafka scheint es ein interessanter Versuch zu sein.