10 Punkte von xguru 2022-04-13 | 4 Kommentare | Auf WhatsApp teilen
  • Entwickelt mit dem Ziel, die Komplexität und Kosten bei der Entwicklung von Echtzeit-Anwendungen zu senken
  • Liest Streaming-Daten ein, führt kontinuierliche SQL-Abfragen aus und aktualisiert die Ergebnisse dynamisch
    • Abfragen & Transformationen
    • Erstellung von materialisierten Views
  • Liest Daten aus Kafka/Pulsar/Kinesis/Redpanda sowie aus CDC-Quellen
    • Unterstützung für PostgreSQL/MySQL CDC (Change Data Capture)
  • Daten werden in S3 und S3-kompatiblen Objektspeichern gespeichert, um Kosten zu senken
  • Verwendet Postgres-kompatibles SQL

4 Kommentare

 
galadbran 2022-04-13

Das ist zwar keine direkt damit zusammenhängende Frage, aber was wäre eine gute Methode, um CDC auf einem kleinen Bare-Metal-System ohne große Skalierung einzurichten? Oft basiert vieles auf Kafka, aber Kafka selbst ist dafür schon ein ziemlich stark überdimensionierter Ansatz …

 
xguru 2022-04-13

https://github.com/debezium/debezium Meinen Sie vielleicht so etwas? (Ich kenne auch nur den Namen und habe es noch nicht ausprobiert.. )

 
galadbran 2022-04-13

Debezium ist als Open-Source-CDC für PostgreSQL wohl am bekanntesten, basiert aber auf Kafka ^^

 
kbumsik 2022-04-13

Ist das so etwas Ähnliches wie ksqlDB oder Materialize?