Flat Data – GitHub als Daten-ETL-Tool und Repository nutzen

<p>- Ein Projekt, das mit der Git-Scraping-Methode die einfache Entwicklung leichtgewichtiger datenbasierter Apps ermöglicht<br /> → Data ETL ohne eigene Infrastruktur aufbauen und nutzen<br /> - Drei Komponenten<br /> → Flat Action: eine GitHub Action zum Abrufen und Transformieren von Daten<br /> → Flat Editor: eine GUI zum Bearbeiten von Flat-Data-Workflows (VS-Code-Erweiterung)<br /> → Flat Viewer: eine Website zum Anzeigen, Filtern und Teilen von im Repo gespeicherten Flatfiles <br /> <br /> Verwendung von Flat Data<br /> 1. Daten mit Flat Action per HTTP oder SQL-Abfrage abrufen (MySQL, Postgres, SQLite, MongoDB usw.) <br /> → Aktien-/Kryptokurse, Excel zu CSV, COVID-Dashboards usw. abrufen und in einem GitHub-Repo speichern<br /> 2. Daten transformieren <br /> → Mit GitHub Actions nachbearbeiten und als neue Datei speichern <br /> 3. Daten visualisieren <br /> → Stellt ein GUI-Tool bereit, das Daten anzeigt, wenn man einfach `flat` vor jede GitHub-Adresse setzt: https://flatgithub.com/the-pudding/data<br /> <br /> Warum Flat Data entwickelt wurde<br /> - Um Daten zu nutzen, sind normalerweise verteilte Systeme und große Infrastrukturen erforderlich <br /> - Entwickler sollen Datenbeschaffung und -aufbereitung mit GitHub Actions leichter durchführen können, um einfacher auf solche Daten zuzugreifen <br /> - Daten im Repo speichern, ohne sich mit komplexen Abhängigkeiten, Bibliotheken, Paketmanagern oder Infrastruktur auskennen zu müssen<br /> <br /> * Dieses Projekt ist ein Experiment des Developer Experience Teams von GitHub OCTO (Office of the CTO), kein offizielles Produkt von GitHub. MIT-Lizenz </p>

[xguru]

<p>Die von Simon Willison entwickelte Git-Scraping-Technik wurde von GitHub aufgegriffen und zu einem großartigen Produkt gemacht.<br /> - Git Scraping - Änderungen im Web in einem Git-Repo protokollieren https://de.news.hada.io/topic?id=3008<br /> <br /> Simon ist auch für seinen Tipp bekannt, TILs (Today I Learned) im GitHub-Index zu speichern.<br /> - Mit GitHub Actions den TIL-README-Index automatisch erstellen https://de.news.hada.io/topic?id=1936</p&gt;