Flat Data – GitHub als Daten-ETL-Tool und Repository nutzen

• Ein Projekt, das mit der Git-Scraping-Methode die einfache Entwicklung leichtgewichtiger datenbasierter Apps ermöglicht

→ Data ETL ohne eigene Infrastruktur aufbauen und nutzen

• Drei Komponenten

→ Flat Action: eine GitHub Action zum Abrufen und Transformieren von Daten

→ Flat Editor: eine GUI zum Bearbeiten von Flat-Data-Workflows (VS-Code-Erweiterung)

→ Flat Viewer: eine Website zum Anzeigen, Filtern und Teilen von im Repo gespeicherten Flatfiles

Verwendung von Flat Data

1. Daten mit Flat Action per HTTP oder SQL-Abfrage abrufen (MySQL, Postgres, SQLite, MongoDB usw.)

→ Aktien-/Kryptokurse, Excel zu CSV, COVID-Dashboards usw. abrufen und in einem GitHub-Repo speichern

2. Daten transformieren

→ Mit GitHub Actions nachbearbeiten und als neue Datei speichern

3. Daten visualisieren

→ Stellt ein GUI-Tool bereit, das Daten anzeigt, wenn man einfach flat vor jede GitHub-Adresse setzt: https://flatgithub.com/the-pudding/data

Warum Flat Data entwickelt wurde

• Um Daten zu nutzen, sind normalerweise verteilte Systeme und große Infrastrukturen erforderlich

• Entwickler sollen Datenbeschaffung und -aufbereitung mit GitHub Actions leichter durchführen können, um einfacher auf solche Daten zuzugreifen

• Daten im Repo speichern, ohne sich mit komplexen Abhängigkeiten, Bibliotheken, Paketmanagern oder Infrastruktur auskennen zu müssen

• Dieses Projekt ist ein Experiment des Developer Experience Teams von GitHub OCTO (Office of the CTO), kein offizielles Produkt von GitHub. MIT-Lizenz

[xguru]

Die von Simon Willison entwickelte Git-Scraping-Technik wurde von GitHub aufgegriffen und zu einem großartigen Produkt gemacht.

• Git Scraping - Änderungen im Web in einem Git-Repo protokollieren https://de.news.hada.io/topic?id=3008

Simon ist auch für seinen Tipp bekannt, TILs (Today I Learned) im GitHub-Index zu speichern.

• Mit GitHub Actions den TIL-README-Index automatisch erstellen https://de.news.hada.io/topic?id=1936