Lehren aus dem Betrieb von Airflow im großen Maßstab

Shopify nutzt es für Datenextraktion, das Training von Machine-Learning-Modellen, die Wartung von Apache-Iceberg-Tabellen, DBT-basiertes Data Modeling und mehr.

1. Bei der Nutzung von Cloud-Speicher kann der Dateizugriff langsam sein
   → Leistung mit GCS + NFS verbessert
2. Wenn das Metadatenvolumen wächst, können Airflow-Operationen langsam werden
   → Mit einer Retention-Richtlinie auf 28 Tage festgelegt
3. DAGs lassen sich möglicherweise nur schwer mit Nutzern und Teams verknüpfen
   → Verwendung eines zentralisierten Metadatenspeichers
4. DAG-Autoren verfügen über viele Berechtigungen
   → Nutzung von DAG-Policies
5. Eine konsistente Lastverteilung sicherzustellen ist schwierig
   → Standardisierte Zeitpläne erstellen, um Traffic-Bursts zu reduzieren
6. Es gibt mehrere Punkte, an denen Ressourcen konkurrieren
   → Einsatz von Pools, Priority Weight, Celerey Queue und Isolated Workers