- Organisierungen einen strukturierten Ansatz auf Basis offener Technologien, damit sie ihre Daten effektiv verwalten und nutzen können
- Mit Fokus auf Skalierbarkeit und Reproduzierbarkeit werden die wesentlichen Schritte zum Aufbau von Daten-Workflows bereitgestellt
- Systematische Unterstützung, die die Schritte Zieldefinition, Toolauswahl, Workflow-Tests und Anpassungen umfasst
- Ein flexibles, modulares Design ermöglicht die Anpassung an individuelle Anforderungen
Design-Philosophie: Schichtmodell
- PO (Basis): Statische Homebase wie GitHub
- P1 (Tools): Eine Vielzahl durch Open Source betriebener Tools
- P2 (Wartung und Monitoring): Umwelt- und Automatisierungsmanagement (Pixi und GHA)
- P3 (Abstraktion): CLI/Task-Manager-Schicht für Nutzerinteraktion (Pixi)
Aktuell unterstützte Workflows
- Umsetzung von Designprinzipien für ein Python Packaging Framework
- GitHub Actions-Konfiguration
- Vale.sh auf PR-Ebene konfiguriert
- Pre-commit Hooks für Code-Linting/Formatting
- Umgebungsmangement mit Pixi
- Daten lesen von Online-Quellen mit Intake
- Erstellung einer Beispielpipeline mit Dagster
- Erstellung von Dashboards mit Holoviews + Panel
- Explorative Datenanalyse (EDA) mit Mito
- Aufbau von Web-UI mit Flask
- Erweiterung und Umgestaltung von Web-UIs mit FastHTML
- Datenanalyse mit GitHub AI-Modellen (GitHub AI models Beta)
Noch keine Kommentare.