Datasette Cloud: SaaS-Hosting-Plattform für Datasette

 (datasette.cloud)
2 Punkte von GN⁺ 2023-08-22 | 1 Kommentare | Auf WhatsApp teilen
  • Datasette Cloud hostet das Open-Source-Projekt Datasette als SaaS für Teams und ermöglicht es, Daten in privaten Bereichen zu teilen und nur die benötigten Daten extern zu veröffentlichen
  • Der anfängliche Fokus liegt auf Newsrooms: Journalistinnen und Journalisten sollen Daten intern im Team und öffentlich bereitstellen können, ohne selbst Server einrichten und betreiben zu müssen
  • Jedes Team erstellt einen privaten Space in einer nahegelegenen Region und erhält einen sicheren Container auf Basis von Fly.io sowie eine Subdomain space-name.datasette.cloud
  • Daten können aus CSVs, URLs, staatlichen Open-Data-Angeboten auf Basis von Socrata, SQLite-Dateien und der Datasette Write JSON API importiert und direkt in der Web-UI bearbeitet werden
  • Geplant sind KI-gestützte Abfragen, das Veröffentlichen ausgewählter Tabellen und Abfragen, Datenannotationen sowie Pricing; derzeit startet man über die Buchung einer Zoom-Demo oder eine Anfrage für Preview-Zugang

Private Daten-Kollaborationsräume für Teams

  • Datasette Cloud ist eine SaaS-Hosting-Plattform für das Open-Source-Projekt Datasette
  • Teams können einen privaten Space für die Arbeit mit Daten erstellen, diese sicher unter Mitgliedern teilen und anschließend einzelne Daten extern veröffentlichen
  • Die ersten Nutzer sind auf Newsrooms ausgerichtet
    • Datasette hat seinen Ursprung im Datenjournalismus
    • Ziel ist es, Journalistinnen und Journalisten das Teilen von Daten zu ermöglichen, ohne dass sie Datasette selbst bei einem Hosting-Anbieter einrichten und betreiben müssen
  • Auch Unternehmen und Organisationen außerhalb des Journalismus können Datasette Cloud nutzen
  • Wer Datasette noch nicht kennt, findet auf der Website des Open-Source-Projekts Video-Demos und Tutorials

Datenimport und Zugriffsmöglichkeiten

  • Jeder Space wird in einer Region in der Nähe der Nutzer gehostet und läuft in einem eigenständigen sicheren Container auf Basis von Fly.io
    • Jeder Space hat eine Subdomain space-name.datasette.cloud
    • Space-Administratoren können weitere Mitglieder einladen
  • Teammitglieder können Daten auf mehreren Wegen importieren
    • Erstellen von Tabellen durch Hochladen von CSV-Dateien
    • Laden von CSV-Dateien von einer URL
    • Import aus staatlichen Open-Data-Portalen auf Basis von Socrata
    • Erstellen einer neuen Datenbank durch Hochladen einer SQLite-Datenbankdatei
    • Datenimport über die Datasette Write JSON API
  • Importierte Daten können in der Weboberfläche von Datasette Cloud inline bearbeitet werden
  • Für die Datenerkundung und den API-Zugriff werden die bestehenden Werkzeuge von Datasette genutzt
    • Datasette-Weboberfläche mit Unterstützung für Filter, Facets, SQL-Abfragen und das Speichern von Ergebnis-Bookmarks
    • In Exploring a database with Datasette gibt es ein Tutorial und eine Live-Demo
    • Learn SQL with Datasette erklärt, wie man Daten mit SQL abfragt
    • Tabellenzugriff und Ausführung von SQL-Abfragen über eine JSON API, geschützt durch feingranulare API-Tokens
    • Zugriff auf tabellarische Daten über eine GraphQL API auf Basis des Plugins datasette-graphql
  • Alle Daten werden sicher auf Fly volumes gespeichert und zusätzlich mit Litestream in S3 gesichert

Geplante Funktionen und Einstieg

  • Demnächst sollen folgende Funktionen hinzukommen
    • KI-gestützte Abfragen: Es wird untersucht, wie sich große Sprachmodelle, die OpenAI ChatGPT, Anthropic Claude und Google Bard zugrunde liegen, verantwortungsvoll für die Datenerkundung durch Journalistinnen und Journalisten einsetzen lassen; mehr dazu unter llm.datasette.io
    • Funktion zum externen Veröffentlichen ausgewählter Tabellen und Abfragen
    • Datenannotationen, mit denen Teams Kommentare zu Spalten und Zeilen hinzufügen können, um die Zusammenarbeit bei der Datenanalyse und das Finden von Geschichten in den Daten zu unterstützen
    • Pricing, damit Nutzer für das Produkt bezahlen können
  • Nutzer können eine Zoom-Demo-Session buchen, um zu den frühen Nutzern zu gehören, oder ohne Demo Preview-Zugang anfragen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-08-22
Meinungen auf Hacker News

  • Wir haben Datasette erfolgreich intern eingesetzt, um große Forschungsdatenmengen (100 MB bis 20 GB) zu hosten, die zu groß sind, um sie normalen Nutzern einfach zu teilen oder konsumierbar zu machen.
    Früher mussten wir nur sehr grobe Zusammenfassungen und ein paar Datenpunkte teilen, eine minimale Django-App bauen oder deutlich schwergewichtigere Lösungen wie Metabase verwenden.
    Bei mittelgroßen Daten kann man Ergebnisse nicht mehr per E-Mail herumschicken; auch mit den den Kunden vertrauten Wegen wie Netzwerkfreigaben oder SharePoint stößt man an Grenzen, und normale Nutzer können meist nur Excel verwenden, was bei großen Daten sofort blockiert.
    Jetzt stellen wir praktisch alle einigermaßen aufbereiteten Daten bereit, geben ein paar Views und ein Tutorial von unter fünf Minuten dazu („Das ist Super-Excel, und so filtert man“), und die Nutzer erkunden die Daten selbst.
    Als ich nach dem ersten Deployment in die Logs schaute, sah ich, dass die Nutzer das System selbst bei ganz gewöhnlicher Forschung intensiv bearbeiteten. Das ließ mich darüber nachdenken, wie viele Detailfragen sie früher wohl nicht gestellt hatten, weil sie nicht lästig fallen wollten. Seit Datasette sind die Fragen deutlich ausgefeilter, weil sie die grundlegenden Dinge selbst geklärt haben.

    • Ein wirklich großartiger Erfolgsfall, und ich denke, man sollte solche Fallstudien sammeln.
      Die Formulierung „Das ist Super-Excel, und so filtert man“ gefällt mir besonders gut.

  • Den Namen Datasette hatte ich ein paar Mal gehört, aber ich hatte nie wirklich nachgesehen, wofür es verwendet wird.
    Das Video auf der Landingpage erklärt es sehr gut; so etwas ist selten.
    Simon und das ganze Projekt verdienen Glückwünsche, und ich hoffe, dass der Cloud-Service gut läuft.

    • Ich weiß nicht, wo das Video sein soll. Ich habe den Blogpost und die Homepage angeklickt, sehe es aber nicht.

  • Datasette ist ein Open-Source-Projekt von Simon Willison, der auf HN recht bekannt ist, und das hier sieht nach einem Monetarisierungsprojekt aus. Ich hoffe, es läuft gut, und dass Softbank es bald übernimmt :-)
    Es ist eher ein Tool, das SQLite-Dateien umhüllt und sie einfach veröffentlichbar macht; man könnte es sich wie Tableau für SQLite vorstellen.

    • Softbank ist nicht das Ziel.
      Datasette ist das erste Projekt in meiner gesamten Karriere, bei dem ich mir vorstellen kann, auch in 15 Jahren noch daran zu arbeiten, ohne dass es langweilig wird. Die Bandbreite spannender Anwendungen, die sich aus der Kernidee bauen lassen, ist wirklich groß.
      Deshalb möchte ich Jahrzehnte daran arbeiten, aber allein ist das einsam; auch wenn die Community größer wird und Spaß macht, ist das etwas anderes als ein Vollzeitteam.
      Das Problem, das ich jetzt lösen will, ist, wie man das Projekt langfristig finanziell nachhaltig macht. Nicht nur für mich allein, sondern so, dass ich einem Team, mit dem ich zusammenarbeite, Gehälter zahlen kann.
      Es gibt bereits viele Beispiele dafür, dass Open-Source-Projekte wie WordPress oder GitLab mit SaaS-Hosting ein nachhaltiges Geschäftsmodell aufgebaut haben, und das fühlt sich wie ein relativ gut ausgetretener Pfad an.
      Außerdem möchte ich, dass Menschen meine Software tatsächlich nutzen können. Wenn Einzelpersonen Datasette derzeit verwenden wollen, müssen sie es per pip oder brew installieren oder die macOS-Electron-App https://datasette.io/desktop nutzen. Ich möchte aber, dass Newsrooms damit gemeinsam an Daten arbeiten können. Die meisten Newsrooms sind nicht damit vertraut, Linux-Server einzurichten.
      Die gehostete SaaS-Version hilft den Nutzern, die mir wichtig sind, echten Mehrwert daraus zu ziehen, und bietet zugleich einen realistischen Weg hin zur finanziellen Nachhaltigkeit des gesamten Projekts.
      Natürlich möchte ich damit auch viel Geld verdienen.
    • Es wäre gut, wenn investiert würde, um Datasette für normale Menschen zugänglicher und leichter nutzbar zu machen.
      Aktuell wirken UX und Konfiguration eher auf Datenhacker mit Interesse an Berichterstattung zugeschnitten; als Standardwerkzeug für Datenberichterstattung oder Datenjournalismus wirkt es nicht wirklich.
      Wenn die beabsichtigten Nutzer Journalisten sind, die möglicherweise keine Data-Hacking-Fähigkeiten haben, muss die Einstiegshürde weiter gesenkt werden.
      Datasette ist weder ein BI-Tool noch ein OSINT-Tool und liegt derzeit in einer sehr engen Nische zwischen Datenenthusiasten und Investigativjournalisten, was sein Potenzial stark begrenzt.
      Simon sollte über Monetarisierung nachdenken, insbesondere darüber, jemanden einzustellen, der Datasette Cloud zugänglicher macht. Die GUI-App zu bauen, wirkt wie ein Schritt in die richtige Richtung.
    • Ist das nicht etwas zynisch formuliert?

  • Ich will die Stimmung nicht verderben, aber selbst nachdem ich das ganze Einführungsvideo zu Datasette gesehen habe, habe ich das Gefühl, etwas übersehen zu haben.
    Ist das nicht im Grunde eine SQL-GUI? Es wirkt fast genauso wie andere SQL-Admin-Panels, nur ohne Schreibfunktionen.
    Ich frage mich, worin die Differenzierung liegt und ob es die Erweiterungen sind.

    • Es ist eher näher an MS Access, aber mit SQLite und Python als Backend wirkt es für mich wie eine vernünftigere Form davon.
      Es gibt unzählige wichtige Geschäftsprozesse, die irgendwie aus Excel und Access zusammengebastelt wurden, und Datasette kann für solche Zwecke eine deutlich bessere Option sein. Es ist ein Tool, das sowohl Entwickler als auch Fachanwender nutzen können.
    • Das ist eine absolut berechtigte Frage, und ich denke seit fünf Jahren darüber nach, habe aber immer noch keine Antwort, die sich sauber in einem einzigen Satz zusammenfassen lässt.
      Das Problem, das Datasette am besten löst, ist das Veröffentlichen strukturierter Daten im Web.
      Wenn man zum Beispiel eine Liste aller Kraftwerke weltweit oder die gesamte Historie des US-Kongresses online teilen möchte, kann man eine CSV auf eine Website/GitHub/S3 hochladen, eine eigene App mit Django/Rails bauen oder Google Sheets verwenden. Wie der Guardian das früher mit Google Sheets gelöst hat, steht hier: https://simonwillison.net/2018/Aug/19/instantly-publish-data...
      Datasette wurde ursprünglich entwickelt, um genau dieses Problem zu lösen, und SQLite schien dafür perfekt zu sein. Es ist schnell und robust, und wenn man Read-only-Daten veröffentlicht, kann man es überall deployen, wo sich eine dynamische Web-App hosten lässt, ohne sich um Backups oder Replikation kümmern zu müssen.
      Das Beispiel mit den weltweiten Kraftwerken ist hier: https://global-power-plants.datasettes.com/global-power-plan..., und die Daten zu Mitgliedern des US-Kongresses gibt es unter https://congress-legislators.datasettes.com/legislators. Letzteres wird auch im Datasette-Tutorial https://datasette.io/tutorials/explore verwendet.
      Wenn man mit der Kommandozeile vertraut ist, wird man kaum einen schnelleren Weg finden, als CSVs mit sqlite-utils in SQLite zu importieren und zu bereinigen und sie dann mit datasette publish vercel und dem Plugin datasette-cluster-map zu veröffentlichen.
      Das ist ein Beispiel mit dem Plugin datasette-publish-vercel, aber mit zusätzlichen Plugins kann Datasette auch auf Fly, Google Cloud Run, Heroku und anderen Plattformen veröffentlichen: https://docs.datasette.io/en/stable/publish.html
      Mehr Details zur Datenbereinigung mit sqlite-utils gibt es hier: https://datasette.io/tutorials/clean-data
      In den vergangenen fünf Jahren ist Datasette über das Veröffentlichen hinaus zu einem Tool geworden, das ich immer dann nutze, wenn ich Daten betrachten und erkunden möchte. Aus Sicht des Datenjournalismus entspricht das dem „Geschichten in Daten finden“.
      Auch für kommerzielle Anwendungen habe ich die starke Intuition: Wenn man Journalisten dabei helfen kann, Geschichten in Daten zu finden, kann man auch allen anderen helfen, Geschichten in ihren eigenen Daten zu finden.
      Ein weiterer Kernpunkt sind Plugins. So wie WordPress nicht nur ein gutes CMS ist, sondern mit mehr als 10.000 Plugins nahezu jedes Problem rund um Content-Veröffentlichung abdeckt und dadurch einen zweistelligen Anteil des Webs erreicht hat, sieht die ambitionierteste Version von Datasette ähnlich aus.
      Ich möchte ein Open-Source-Tool für explorative Datenanalyse (EDA) und Veröffentlichung bauen und ermöglichen, dass Tausende Plugins Probleme rund um Datenerkundung, Analyse, Visualisierung und Veröffentlichung lösen.
      Derzeit gibt es 127 Plugins, also ist noch ein langer Weg zu gehen, aber es ist ein guter Anfang: https://datasette.io/plugins
      In einem Satz zusammengefasst wäre es entweder: „Datasette ist der schnellste Weg, Daten online als interaktive, durchsuchbare Datenbank zu veröffentlichen“, oder: „WordPress für Daten: eine erweiterbare Open-Source-Plattform für Erkundung, Analyse, Visualisierung und Veröffentlichung.“

  • Simon, das sieht wirklich großartig aus, ich wünsche dir viel Erfolg.
    Ich habe in den letzten Jahren viele tolle Dinge mit Datasette gemacht und kann es sehr empfehlen. datasette.cloud werde ich auf jeden Fall ausprobieren.

  • Datasette ist großartig.
    Bei meinem früheren Arbeitgeber habe ich eine ziemlich improvisierte Methode gebaut, um Datasette in unserer internen Azure-Cloud zu deployen, damit sich Ergebnisse komplexer SQL-Abfragen schnell teilen lassen. Schön zu sehen, dass Simon jetzt selbst .cloud herausbringt.

  • Nachdem ich Simon im Podcast Latent Space kennengelernt habe, schaue ich mir seit ein paar Wochen sein Blog und verschiedene YouTube-Videos von ihm an.
    Als ehemaliger Journalist wollte ich Datenjournalismus lernen, und vielleicht probiere ich das aus, sobald es öffentlich verfügbar ist.

  • Es ist interessant zu sehen, dass sich Datenjournalismus inzwischen dahin entwickelt hat, CSVs in die Cloud hochzuladen.
    Früher war auf den I.R.E.-Conventions eines der heißesten Themen, zu lernen, wie man Daten von 9-Spur-Bändern extrahiert und entschlüsselt.
    In den frühen Tagen des FOIA kippten Behörden oft riesige Mengen an Informationen auf große 9-Spur-Datenrollen, behaupteten, sie hätten „der Anfrage entsprochen“, und behinderten so die Berichterstattung.
    Kaum eine Redaktion hatte solche Geräte oder das technische Know-how, also musste man selbst Lösungen finden oder Unternehmen bzw. Institutionen suchen, die helfen konnten.
    I.R.E.: https://www.ire.org/

    • Ich erinnere oft daran, dass NICAR (National Institute for Computer-Assisted Reporting, Teil von IRE) in den 1980er-Jahren gegründet wurde und mit Mainframes arbeitete.
      Datenjournalismus ist nichts Neues.

  • Simon ist ein hervorragender Techniker.
    Aus seinen Videos und Texten habe ich ziemlich viel gelernt, und ich hoffe, dass diese Sache gut läuft.

  • Ich dachte, es ginge um das C2N-Datasette-Kassettenlaufwerk des C64, und war enttäuscht, dass dem nicht so war.
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • Mit dem C64 und der Datasette habe ich mein erstes „Datenbank“-Programm geschrieben.
      Ich war wohl etwa 7 Jahre alt, und es machte eigentlich nicht viel, aber der Name ist eindeutig eine Hommage daran.
    • Ich hatte etwas im Geist von „Floppy RAID“ [1] erwartet, also etwas noch Absurderes mit noch älterer Technik.
      1: https://youtu.be/1hc52_PWeU8
    • Ich hatte dasselbe erwartet.
      Ich habe immer noch einen 1531 auf dem Dachboden, neben dem C16.