replited – Ein Tool zum Replizieren von SQLite nach S3, FTP, WebDAV und mehr (Rust + OpenDAL)

Hallo. Ich möchte replited vorstellen, ein in Rust geschriebenes Replikationstool für SQLite.

Es wurde entwickelt, um die größten Herausforderungen beim Einsatz von SQLite in serverlosen oder Edge-Umgebungen zu lösen: „Vermeidung von Datenverlust“ und „Backups“. Es gibt mit Litestream bereits ein hervorragendes bestehendes Tool, aber weil ich auch den Wunsch hatte, Read Replicas mit Streaming-Kopien zu betreiben, habe ich versucht, Funktionen zu einem von jemand anderem erstellten Projekt hinzuzufügen.

replited verwendet Apache OpenDAL, um die Storage-Schicht zu abstrahieren. Dadurch kann das WAL (Write-Ahead Log) von SQLite nicht nur nach S3, sondern in Echtzeit auf nahezu jeden von OpenDAL unterstützten Storage repliziert werden, darunter FTP, WebDAV, Google Drive, Dropbox und IPFS.

Hauptmerkmale:

• Basiert auf Rust & OpenDAL: Gewährleistet Speichersicherheit und läuft schlank als einzelnes Binary.
• Unterstützung für verschiedene Backends: Von Cloud-Storage wie AWS S3, GCS und Azure Blob bis hin zu gängigem FTP/SFTP und WebDAV.
• Echtzeit-Replikation: Ähnlich wie Litestream werden WAL-Frames erfasst, um ein Recovery Point Objective (RPO) im Sekundenbereich zu erreichen.
• Einfache Konfiguration: Das Backend kann ohne komplexe Einrichtung per Umgebungsvariablen oder Konfigurationsdatei festgelegt werden.

Ich hoffe, dass es für alle hilfreich ist, die in Side Projects oder kleinen Produktivumgebungen die Betriebskosten eines RDBMS senken und gleichzeitig die Datensicherheit gewährleisten möchten.

GitHub-Repository:
https://github.com/mrchypark/replited