10 Punkte von xguru 2024-11-12 | Noch keine Kommentare. | Auf WhatsApp teilen
  • Open-Source-Dienstprogramm, entwickelt für Datenbank-Backup-Dumping, Anonymisierung, Erzeugung synthetischer Daten und Wiederherstellung
  • Stateless und ohne dass Änderungen am Datenbankschema erforderlich sind
  • Für ein hohes Maß an Anpassbarkeit entwickelt, mit ausgezeichneter Kompatibilität zu bestehenden PostgreSQL-Dienstprogrammen sowie hoher Geschwindigkeit und Stabilität
  • Playground: Eine Sandbox-Umgebung mit einer Beispiel-DB in Docker ermöglicht Tests ohne zusätzliche Arbeit
  • Hauptfunktionen
    • Deterministische Transformer: Ein deterministisches Datenumwandlungsverfahren auf Basis von Hash-Funktionen, bei dem dieselben Eingabedaten immer dieselben Ausgabedaten erzeugen. Die meisten Transformer unterstützen eine Random- oder Hash-Engine und eignen sich damit für nahezu alle Anwendungsfälle.
    • Dynamische Parameter: Jeder Transformer unterstützt dynamische Parameter, sodass er mit Werten aus Tabellenspalten parametrisiert werden kann. Das ist nützlich, um funktionale Abhängigkeiten zwischen Spalten aufzulösen und Constraints einzuhalten.
    • Validierung und Wartbarkeit von Transformationen: Während der Konfiguration werden Warnungen zur Validierung, Unterschiede bei Datenumwandlungen und Schema-Differenzen bereitgestellt, sodass Transformationen über den gesamten Software-Lebenszyklus hinweg effektiv überwacht und gewartet werden können. Schema-Differenzen helfen, Datenlecks bei Schemaänderungen zu verhindern.
    • Vererbte Transformationen für partitionierte Tabellen: Wenn eine Transformation einmal definiert ist, kann sie auf alle Partitionen einer partitionierten Tabelle angewendet werden (mit dem Parameter apply_for_inherited), was den Anonymisierungsprozess vereinfacht.
    • Stateless: Arbeitet mit logischen Dumps und beeinflusst das bestehende Datenbankschema nicht
    • Plattformübergreifend: Dank der Go-basierten Architektur entfallen Plattformabhängigkeiten, sodass sich das Tool auf allen Plattformen einfach bauen und ausführen lässt
    • Typsicher für Datenbanken: Verwendet Datenbanktreiber für Datenvalidierung sowie Encoding-/Decoding-Vorgänge, um die Datenintegrität sicherzustellen. Dadurch bleiben Datenformate erhalten
    • Abwärtskompatibel: Unterstützt die gleichen Funktionen und Protokolle wie bestehende PostgreSQL-Dienstprogramme vollständig, und mit Greenmask erzeugte Dumps können mit dem Dienstprogramm pg_restore erfolgreich wiederhergestellt werden
    • Erweiterbar: Nutzer können domänenspezifische Transformationen in verschiedenen Programmiersprachen implementieren oder vordefinierte Templates verwenden
    • Integrierbar: Lässt sich in CI/CD-Systeme integrieren, um automatisierte Aufgaben zur Datenbank-Anonymisierung und Wiederherstellung einfach zu verarbeiten
    • Parallele Ausführung: Nutzt paralleles Dumping und Wiederherstellen, um die Bereitstellungszeit der Ergebnisse deutlich zu verkürzen
    • Vielfältige Speicheroptionen: Bietet lokale und Remote-Datenspeicheroptionen, darunter Verzeichnisse und entfernte Datenspeicher wie S3
    • Unterstützung für Pgzip: Mit der Einstellung --pgzip lassen sich Dump- und Wiederherstellungsprozesse durch parallele Komprimierung schneller ausführen

Noch keine Kommentare.

Noch keine Kommentare.