Ein Infrastructure-Stack, der es ermöglicht, nach schneller Entwicklung lokal ohne Codeänderungen großflächig in der Cloud auszuführen. Code, Daten und Dependencies, an denen in Notebooks gearbeitet wurde, können als Snapshots erstellt und in S3 oder im Dateisystem gespeichert werden, sodass sich Workflows fortsetzen oder frühere Ergebnisse reproduzieren lassen.
2 Kommentare
Warum es Metaflow heißt, wird anschaulich unter https://docs.metaflow.org/introduction/why-metaflow erklärt.
Netflix und AWS haben es gemeinsam entwickelt, daher ist es eng integriert.
Lokal werden Daten auf der Festplatte gespeichert und mit einer Notebook-Installation schnell und bequem entwickelt,
und wenn man es auf AWS bereitstellt, kann man die unten stehenden Services nutzen, um es in großem Maßstab auszuführen.
Metadata - RDS oder Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
Unabhängig davon, welche tatsächliche Machine-Learning-/Data-Science-Bibliothek man verwendet – PyTorch, TensorFlow oder Scikit-Learn –, lässt sich alles integrieren.