- Repliziert Änderungen aus Postgres einfach in Queues/Nachrichten-Broker wie Kafka, Redpanda, Google PubSub und Azure Event Hub
- Aktiviert Postgres CDC intern mithilfe von Postgres Logical Decoding
- Für bestehendes CDC wird oft Debezium verwendet, aber die Lernkurve ist steil und für den Einsatz in Produktion ist viel Grundlagenwissen nötig
- Die Konfiguration ist schwierig (eine UI ist noch in Entwicklung), Unterstützung für Datenformate und Transformationen ist ebenfalls nicht unkompliziert, und für andere Nachrichten-Broker als Kafka wird nicht das gleiche Funktionsniveau geboten
- PeerDB verfolgt das Ziel, einen einfacheren und zugleich umfassenderen Aufbau von Postgres CDC zu ermöglichen
- Damit Engineers mit minimaler Lernkurve innerhalb weniger Tage produktionsreifes Postgres CDC umsetzen können
- Einfache Konfiguration über die PeerDB UI
- Konfiguration von Quell- und Ziel-Datenquellen (wie Postgres und Kafka)
- Überwachung des CDC-Fortschritts, etwa Durchsatz (pro Tabelle) und Latenz
- Log-Suche
- Slack-/E-Mail-Benachrichtigungen bei zunehmenden Replication Slots
- Auch erweiterte Funktionen wie Mirror-Tuning, Pausieren und das Hinzufügen von Tabellen zu einem Mirror werden angeboten
- Es gibt auch eine CLI. Durch eine Postgres-kompatible SQL-Schicht ist sie benutzerfreundlich
- Anwendung von Transformationen auf Zeilenebene vor dem CDC-Streaming nach Kafka
- Mithilfe von Lua-Skripten
- Verschlüsselung/Maskierung personenbezogener Daten (PII), Unterstützung verschiedener Datenformate (JSON, MsgPack, Flatbuffers, Protobuf usw.)
- Bietet einen Skript-Editor und nützliche Templates
- Native Connectors für Ziele außerhalb von Kafka
- Google Pub/Sub, Azure Event Hubs
1 Kommentare
PeerDB – ETL/ELT-Plattform für Postgres
Debezium – Open Source zum Streamen von Änderungen in der DB