Prüfen wir, ob Airflow für meinen Use Case wirklich die beste Wahl ist

• Es gibt zu viele Alternativen zu Airflow, daher sollte man sicher prüfen, ob Airflow für meinen Use Case wirklich die beste Lösung ist (oder überhaupt eine sinnvolle Lösung darstellt)
• In dem Beitrag genannte Alternativen
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

Es gibt auch cwl, wdl, nextflow, snakemake usw.

[kbumsik]

Das Problem ist, dass sich nur schwer vorhersagen lässt, ob Airflow wirklich zu einem passt, bevor man es nicht in einem gewissen Umfang selbst ausprobiert hat.
Obwohl es so bekannt ist, scheint es einige Fallstricke zu geben, die man im Vorfeld nur schwer erkennt.

Fehlende eventbasierte DAGrun-Trigger, nicht ganz einfache lokale Entwicklung (airflow standalone gibt es seit 2.2, wodurch es etwas leichter geworden ist), wenig dynamische DAG-Konfiguration und auch die Tatsache, dass man, wenn man die interne Funktionsweise nicht gut kennt, leicht Variablen falsch verwendet, statt Jinja-Templates zu nutzen, und so weiter ...

Im nächsten Projekt würde ich gern einmal Dagster ausprobieren.