Amphi - Open-Source-Python-ETL

 (amphi.ai)
12 Punkte von xguru 2024-06-20 | 1 Kommentare | Auf WhatsApp teilen
  • Python-basiertes ETL, das dafür entwickelt wurde, Daten aus verschiedenen Quellen und Formaten zu extrahieren, vorzubereiten und aufzubereiten
    • Sowohl strukturierte als auch unstrukturierte Dateien werden unterstützt (CSV, Parquet, PDF, Word, HTML usw.)
  • Ziel ist es, sowohl Data Scientists als auch Data Engineers dabei zu unterstützen, mit einer intuitiven Low-Code-Oberfläche Pipelines einfach zu entwickeln und gleichzeitig Python-Code zu erzeugen, der überall bereitgestellt werden kann
    • Datenpipelines per GUI entwerfen und nativen Python-Code erzeugen, der sich On-Premises oder in der Cloud überall deployen lässt
  • Bietet starke Leistung bei der Datenintegration von Dateien in Datenbanken, bei der Datenextraktion und -aufbereitung für Data Science und LLM-basierte Systeme sowie bei API-Abfragen und -Anreicherung

Verwandte Beiträge

1 Kommentare

 
xguru 2024-06-20
Hacker-News-Kommentare
  • Amphi ist ein Low-Code-ETL-Tool für strukturierte und unstrukturierte Daten und nützlich für Dateiintegration, Datenaufbereitung, Datenmigration sowie zum Erstellen von Datenpipelines für AI-Workloads. Es erzeugt Python-Code und kann dadurch überall bereitgestellt werden.
  • Es ist nicht immer gut, wenn auch Nicht-Fachleute Datenarbeit leicht erledigen können. Wenn das Schreiben von Python und SQL schwerfällt, sollte man vielleicht eine andere Tätigkeit in Betracht ziehen.
  • Der Titel sollte geändert werden. Es ist nicht Open Source, sondern unter der Elastic License v2 lizenziert.
  • Es ist nicht Open Source. Der Titel ist irreführend.
  • Für Leute, die die Abkürzung ETL nicht kennen, wäre eine Erklärung auf der Website sinnvoll.
  • Als Open-Source-Python-ETL-Tools sind dlthub.com und hub.meltano.com bessere Optionen. Ich nutze Meltano tatsächlich und bin zufrieden damit.
  • Ich frage mich, ob Amphi das pandas-ähnliche Framework rapidsai dask_cudf unterstützt.
  • Die Idee ist gut, aber in der Dokumentation ist die High-Level-Abstraktion misslungen. Man sollte definieren können, was sich in einer Datenpipeline wie eine Tabelle verhält, und Transformationen darauf anwenden können. Dass es ein kostenloses Tool ist, ist lobenswert.
  • Ich bin mit Dagster zufrieden, aber Amphi ist ebenfalls interessant.
  • Ich frage mich, wie ein Tool wie Amphi entstanden ist. Es gibt bereits viele Open-Source-Python-ETL-Tools; ich würde gern wissen, ob dieses Tool zur Lösung eines bestimmten Problems entwickelt wurde oder ob es ein Leidenschaftsprojekt ist.