- Entwickelt mit dem Ziel, die Komplexität und Kosten bei der Entwicklung von Echtzeit-Anwendungen zu senken
- Liest Streaming-Daten ein, führt kontinuierliche SQL-Abfragen aus und aktualisiert die Ergebnisse dynamisch
- Abfragen & Transformationen
- Erstellung von materialisierten Views
- Liest Daten aus Kafka/Pulsar/Kinesis/Redpanda sowie aus CDC-Quellen
- Unterstützung für PostgreSQL/MySQL CDC (Change Data Capture)
- Daten werden in S3 und S3-kompatiblen Objektspeichern gespeichert, um Kosten zu senken
- Verwendet Postgres-kompatibles SQL
4 Kommentare
Das ist zwar keine direkt damit zusammenhängende Frage, aber was wäre eine gute Methode, um CDC auf einem kleinen Bare-Metal-System ohne große Skalierung einzurichten? Oft basiert vieles auf Kafka, aber Kafka selbst ist dafür schon ein ziemlich stark überdimensionierter Ansatz …
https://github.com/debezium/debezium Meinen Sie vielleicht so etwas? (Ich kenne auch nur den Namen und habe es noch nicht ausprobiert.. )
Debezium ist als Open-Source-CDC für PostgreSQL wohl am bekanntesten, basiert aber auf Kafka ^^
Ist das so etwas Ähnliches wie ksqlDB oder Materialize?