- Ein universeller, horizontal skalierbarer Workflow-Orchestrator, der vollständig verwaltetes Workflow as a Service (WaaS) bereitstellt
- Verwaltung groß angelegter Workflows wie Datenpipelines und Trainingspipelines für Machine-Learning-Modelle
- Überwacht den gesamten Workflow-Lebenszyklus, einschließlich Wiederholungen, Warteschlangen und Aufgabenverteilung
- Unterstützt Business-Logic-Pakete in verschiedenen Formaten (Docker-Images, Notebooks, Bash-Skripte, SQL, Python usw.)
- Unterstützt nicht nur DAGs (Directed Acyclic Graphs), sondern sowohl azyklische als auch zyklische Workflows
- Enthält mehrere wiederverwendbare Muster wie
foreach-Schleifen, Unter-Workflows und bedingte Verzweigungen
- Flexible und leistungsstarke Orchestrierungsdefinitionen im JSON-Format
- Gewährleistet Konsistenz bei wichtigen Eigenschaften (Autor, Eigentümerinformationen, Ausführungseinstellungen)
- Erstellt bei jeder Workflow-Änderung eine neue Version, die nachverfolgt und leicht zurückgesetzt werden kann
- Tausende Nutzer bei Netflix – darunter Data Scientists, Data Engineers, Machine-Learning-Ingenieure, Softwareingenieure, Content-Ersteller und Business-Analysten – verwenden den Service für verschiedenste Use Cases
- Der Service selbst wurde bereits vor 2 Jahren vorgestellt und ist nun als Open Source veröffentlicht worden
- Unterstützt verschiedene Workflow-Anwendungsfälle wie ETL-Pipelines, ML-Workflows und A/B-Test-Pipelines
- Dank horizontaler Skalierbarkeit lassen sich viele Workflows sowie viele einzelne Aufgaben innerhalb eines Workflows verwalten
- Täglich werden Hunderttausende Workflows und Millionen Aufgaben geplant, und das System wird selbst bei stark ansteigendem Traffic mit strengen SLOs betrieben
- Die bereits vorhandenen Millionen Workflows innerhalb von Netflix wurden erfolgreich und ohne Unterbrechung auf Maestro migriert
- Die Zahl der im vergangenen Jahr ausgeführten Aufgaben ist um 87,5 % gestiegen
- Im Tagesdurchschnitt werden Hunderttausende Aufgaben ausgeführt, an geschäftigen Tagen werden etwa 2 Millionen Aufgaben abgeschlossen
1 Kommentare
Diesen kurzen Einführungstext zur Open-Source-Veröffentlichung hat diesmal wohl die KI zusammengefasst: Maestro: Netflix’ Workflow-Orchestrator
Allerdings gibt es einfach zu viele Dinge mit dem Namen Maestro, haha.
Maestro - ein Linux-kompatibler, Rust-basierter Kernel
Maestro - ein UI-Testframework zur Automatisierung mobiler Apps