2 Punkte von xguru 4 시간 전 | Noch keine Kommentare. | Auf WhatsApp teilen
  • Automatische Erkennung von Schema Drift: Wenn sich Spaltentypen oder -namen von Quelltabellen Upstream ändern, wird nach einem Diff das Ziel automatisch neu erzeugt
    • Erkennt Queries, die in der Entwicklung durchlaufen, aber im Betrieb fehlschlagen würden, schon vor der Ausführung, und blockiert Situationen wie „Bis gestern lief alles, aber die Daten sind seltsam“ sofort beim Ausführungszeitpunkt
  • Datenverträge zur Compile-Zeit: Fehlende Pflichtspalten, entfernte geschützte Spalten und riskante Typänderungen werden mit Fehlercodes (E010, E013) erkannt, bevor auch nur eine Zeile in eine Produktionstabelle geschrieben wird
  • Column Lineage auf Spaltenebene: Wenn man eine einzelne Spalte auswählt, lässt sie sich vom Seed bis zur finalen Faktentabelle zurückverfolgen – bei der Frage „Woher kommt diese Zahl?“ muss man nicht mehr Modelldateien einzeln durchsuchen
  • Branch = isolierte Experimentierumgebung: Mit rocky branch create wird ein Experimentier-Branch in einem separaten Schema erzeugt; nach Prüfung der Ergebnisse kann er promotet oder verworfen werden, um das Risiko zu vermeiden, Produktionstabellen zu verändern
  • AI-Modellerzeugung: Aus natürlichsprachigen Eingaben wie „Erstelle ein Modell für monatliche Umsatzaggregation“ werden Rocky-DSL-Modelle automatisch generiert; bei Compile-Fehlern wird automatisch erneut versucht – SQL-Boilerplate muss nicht mehr von Hand geschrieben werden
  • VS Code Language Server verfügbar: Typkonflikte und kaputte Referenzen werden schon beim Schreiben statt erst in CI angezeigt; Hover für Spaltentypen und Go-to-Definition werden für alle Modelle unterstützt
  • Datenmaskierung — PII-Spalten werden getaggt und pro Umgebung mit Maskierungsregeln versehen; wenn Daten unmaskiert nach außen gelangen würden, schlägt die Prüfung fehl
  • Automatisches Management inkrementeller Loads: Wenn nur strategy = "incremental" und timestamp_column gesetzt werden, merkt sich das System den Watermark automatisch.
    • Nach einem initialen Load mit 500 Zeilen und 25 zusätzlich eingefügten Zeilen wird nur das Delta schnell verarbeitet, sodass WHERE-Bedingungen nicht mehr manuell gepflegt werden müssen
  • Kein Vendor Lock-in: rocky emit-sql rendert alle Transformationsmodelle offline ohne Warehouse-Verbindung als nach Abhängigkeiten sortiertes reines SQL; mit rocky import-dbt lässt sich ein reines dbt-Core-Projekt mit einem einzigen Befehl umwandeln
  • Bestehende Databricks-/Snowflake-/BigQuery-Umgebungen bleiben unverändert bestehen, während Compile, Ausführung, Lineage und Branches von SQL-Modellen in einer einzigen Rust-Binärdatei abgewickelt werden
    • Adapter-Status: Databricks, Snowflake, BigQuery, Trino, DuckDB
    • Quellen: Fivetran, Airbyte, Iceberg, Manual
  • Apache-2.0-Lizenz

Noch keine Kommentare.

Noch keine Kommentare.