Ploomber – Open-Source-Framework zum schnellen Erstellen von Datenpipelines

• Entwicklung mit Jupyter/VSCode/PyCharm usw.

• Deployment auf Produktionsserver ohne Codeänderungen: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm usw.

• Vorhandene Notebooks können in modulare Pipelines refaktoriert werden

Hauptfunktionen

• Schnelle Entwicklung mit YAML

• Flexible Nutzung dank leistungsstarker Python-API

• Zwischenspeichert automatisch frühere Pipeline-Ergebnisse und berechnet nur die seit dem letzten Lauf geänderten Teile neu

• Verteiltes Deployment per Shell-Skript oder über Kubernetes, Airflow, AWS Batch usw.

[japansea]

Mit Kafka kann es wohl nicht mithalten, oder?