Apache Superset – Plattform für Datenerkundung und Visualisierung

 (superset.apache.org)
5 Punkte von GN⁺ 2024-02-27 | 1 Kommentare | Auf WhatsApp teilen
  • Apache Superset ist eine Open-Source-Analytics-Plattform, die Datenerkundung und Visualisierung an einem Ort bündelt und Nutzern mit unterschiedlichen Kenntnisständen ermöglicht, Daten über Charts und Dashboards zu bearbeiten
  • Mit einem No-Code-Visualisierungs-Builder und einer SQL IDE können sowohl Business-Anwender als auch SQL-Nutzer Daten auf ihre jeweilige Weise erkunden
  • Die Plattform lässt sich mit SQL-basierten Datenbanken verbinden und kann auch Cloud-native Datenbanken und Engines im Petabyte-Maßstab nutzen
  • Sie setzt auf eine leichtgewichtige, skalierbare Struktur, die auf bestehender Dateninfrastruktur läuft, und benötigt keine separate Ingestion-Schicht
  • Mehr als 40 Visualisierungen, Plugin-basierte Erweiterbarkeit, Caching, Jinja-Templates, Dashboard-Filter und eine semantische Schicht unterstützen Self-Service-Analytics-Workflows

Plattform für Datenerkundung und Visualisierung

  • Apache Superset™ ist eine Open-Source-Plattform für Datenerkundung und Visualisierung
  • Sie stellt schnelle, leichtgewichtige und intuitive Nutzung in den Vordergrund und unterstützt verschiedenste Visualisierungen – von einfachen Liniendiagrammen bis hin zu detaillierten Geodaten-Charts
  • Nutzer können Daten über einen No-Code-Visualisierungs-Builder oder eine SQL IDE erkunden
  • Superset kann sich mit SQL-basierten Datenbanken verbinden; moderne Cloud-native Datenbanken und Engines im Petabyte-Maßstab gehören ebenfalls zu den unterstützten Zielen
  • Die Plattform verfügt über eine leichtgewichtige, hochskalierbare Architektur, die bestehende Dateninfrastruktur nutzt, und benötigt keine zusätzliche Ingestion-Schicht
  • Sie bietet mehr als 40 vorinstallierte Visualisierungstypen und ermöglicht über eine Plugin-Architektur auch eigene Visualisierungen

Dokumentation nach Rollen und Community

  • User Docs: Dokumentation für Analysten und Business-Anwender; behandelt Datenerkundung, Chart-Erstellung, Dashboard-Erstellung und Datenbankverbindungen
  • Administrator Guide: Dokumentation für Teams, die Superset installieren und betreiben; behandelt Installation, Konfiguration, Sicherheit und Datenbanktreiber
  • Developer Guide: Dokumentation für Engineers, die zu Superset beitragen oder Funktionen auf dessen Basis entwickeln; behandelt REST API, Erweiterungen und Contribution-Workflows
  • Community: Bietet Community-Ressourcen wie Slack, GitHub, Mailinglisten und geplante Meetups

Funktionen für Self-Service-Analytics

  • Superset unterstützt über Dashboards, Chart Builder, SQL Lab und Datasets den Workflow, Daten in interaktiven Dashboards zu erkunden und Insights zu gewinnen

  • Visualisierung und Dashboard-Erstellung

    • Bietet mehr als 40 vorinstallierte Visualisierungen
    • Unterstützt sowohl Drag-and-drop als auch SQL-Abfragen
    • Bietet Daten-Caching, um Ladezeiten von Charts und Dashboards zu verkürzen
    • Mit Jinja-Templates und Dashboard-Filtern lassen sich interaktive Dashboards erstellen
    • Mit CSS-Templates können Charts und Dashboards an das Look-and-feel einer Marke angepasst werden

  • Erweiterte Analysefunktionen

    • Bietet eine semantische Schicht für SQL-Datentransformationen
    • Unterstützt tiefere Datenanalysen mit Cross-Filter, Drill-to-Detail und Drill-by
    • Für Ad-hoc-Datenerkundung können Virtual Datasets genutzt werden
    • Über Feature Flags ist der Zugriff auf neue Funktionen möglich

Nutzende Organisationen

  • Superset gibt an, dass es von Tausenden von Unternehmen zur Datenerkundung und Visualisierung eingesetzt wird
  • Als Beispiele für nutzende Organisationen werden Links zu Xnet Mobile, UserGuiding, Preset, PlaidCloud, VLMedia und Cirrus Assessment angezeigt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-02-27
Hacker-News-Kommentare

  • Ich habe Superset sehr zufriedenstellend genutzt und würde nach dem Ersatz von Tableau nicht mehr zurückwollen.
    Es hat etwas gedauert, herauszufinden, wie man mit dem Superset Embedded SDK in eine App einbettet. Mit diesem SDK lassen sich Superset-Dashboards unter Nutzung der Authentifizierung der App in die eigene Anwendung einfügen; technisch wird dabei ein iframe mit der Superset-Seite in die Host-App eingebettet.
    https://github.com/apache/superset/tree/master/superset-embe...
    Superset basiert auf der hochwertigen und gut gepflegten Chart-Bibliothek ECharts.
    https://echarts.apache.org/examples/en/#chart-type-linesG
    Auch die Community-Roadmap ist öffentlich einsehbar.
    https://github.com/apache/superset/projects?query=is%3Aopen
    Ich habe großen Respekt vor Preset.io und dem Team dafür, wie sie zum Projekt beitragen und es in gutem Zustand halten.
    https://preset.io/blog/
    Der Superset-Quellcode ist leicht zu lesen und zu verstehen, sodass sich auch fortgeschrittene Caching-Techniken zur Reduzierung der Chart-Last umsetzen lassen. Perfektes BI gibt es nicht, aber nachdem ich das Projekt über mehrere Jahre beobachtet habe, habe ich Vertrauen gewonnen, dass es auch künftig wie beabsichtigt funktionieren wird, und dass sich einige Pakete irgendwann für verschiedenste Visualisierungen und Data Hacking wiederverwenden lassen könnten.
    Bei Visualisierungen starte ich meist mit ECharts und einem einfachen React-Wrapper und setze für Power-User zusätzlich Superset auf einer Subdomain auf, um zu sehen, was besser passt. Wenn man die gleiche Optik beibehält, ist die User Experience ziemlich gut.

    • Auch das Open-Source-BI-Tool Evidence nutzt ECharts; es ist eine großartige Bibliothek. Sie hat enorm dabei geholfen, eine versionierbare deklarative Syntax für Visualisierungen zu entwickeln.
      https://evidence.dev
      Frühere HN-Diskussion: https://news.ycombinator.com/item?id=35645464 (97 Kommentare)
    • Mich würde interessieren, wie ihr Datensichtbarkeit und Berechtigungen handhabt. In den meisten Tabellen gibt es Daten, die nur bestimmte Nutzer oder Gruppen-IDs sehen sollten, und normalerweise übernimmt die Anwendung diese Schicht. Es wäre schön, den Nutzern die Funktionen von Superset zugänglich zu machen, aber der Aufbau der Sicherheitsschicht dürfte ziemlich mühsam sein.
    • ECharts ist großartig. Bei https://github.com/openobserve/openobserve haben wir nach einigen Monaten mit Plotly auf ECharts umgestellt und sind sehr zufrieden.
    • Es wäre schön, wenn solche Apps Dinge wie Graphen als SVG-Einbettung anbieten würden. iframe ist zu umständlich.
    • Ich habe Superset nie verwendet. Könntest du noch etwas genauer erläutern, in welchen Punkten es deiner Ansicht nach besser als Tableau ist?

  • Ich habe Superset vor ein paar Jahren benutzt, und vielleicht hat es sich inzwischen geändert, aber intuitiv wäre wirklich das allerletzte Wort, das ich dafür verwenden würde.
    Dinge, die man in anderen BI-Tools in wenigen Minuten herausfindet, musste ich in Superset buchstäblich stundenlang suchen. Nicht hilfreich war auch, dass mitten drin die Namen zentraler Konzepte geändert wurden, sodass die Hälfte der Online-Dokumentation nicht mehr passte. Kolleginnen und Kollegen in meinem damaligen Unternehmen, die es mitbenutzt haben, empfanden es ähnlich.

    • Superset war weder in der Nutzung noch in der Einrichtung intuitiv. Am Ende haben wir Metabase aufgesetzt, weil man es als einzelnes JAR ausführen konnte und der Einstieg dadurch sehr einfach war.
      Die Business-User mochten es ebenfalls, ich war zufrieden damit, und auch die Verwaltung mit einem Postgres-Backend statt der internen h2-Datenbank war unkompliziert.
    • Ehrlich gesagt ist intuitiv bei den meisten Apache-Projekten das letzte Wort, das ich zur Beschreibung verwenden würde.
    • Ich hatte mit Superset eine ähnliche Erfahrung. Ich stimme zu, dass Metabase besser ist, aber wenn du nach einem anderen Zugang zu Daten suchst, lohnt sich auch ein Blick auf Definite(https://www.definite.app/). Es ist eher ein „Daten-Stack in der Box“.
      Mit dem eingebauten Data Warehouse kann man eine DuckDB-Datenbank starten und Daten laden; außerdem lassen sich mit über 500 Konnektoren Daten aus Postgres, Stripe, HubSpot, Zendesk und anderen Quellen automatisch ohne separates ETL einziehen.
      In der semantischen Schicht werden Dimensionen, Kennzahlen und Joins an einer Stelle definiert, und für jede unterstützte Quelle gibt es vorgefertigte Modelle. Im Stripe-Modell sind zum Beispiel Kennzahlen wie MRR und Churn bereits enthalten.
      Man erstellt in einer einfachen BI-Arbeitsweise die gewünschte Datentabelle und erzeugt daraus Visualisierungen. Bei Fragen kann man sich an mike@definite.app wenden.
    • Ich probiere Superset gerade kurz aus und stimme zu. Dinge, die in SQL einfach sind, sind in Superset beunruhigend schwer oder unklar.
      Auch die Dokumentation ist, wohlwollend formuliert, eher dürftig.
    • Als ich es benutzt habe, war es auch nicht schnell.
      Stattdessen war es voller Dutzender Python-Laufzeitfehler und unzähliger Mängel. Im Moment scheint Metabase näher an der richtigen Antwort zu sein.

  • Vollständige BI-Tools wie Superset oder Metabase sind für ihre vorgesehenen Anwendungsfälle hervorragend.
    Wenn der Hauptzweck aber darin besteht, für nichttechnische Endnutzer gelegentlich halbwegs interaktive Berichte zu erstellen und dafür Standarddiagramme und Tabellen meist ausreichen, kann das zu viel des Guten sein. Das gilt besonders, wenn man mit SQL vertraut ist und Zugriff auf die ursprünglichen Datenquellen hat.
    In solchen Fällen waren SQLPage und Evidence sehr nützlich. Man kann SQL schnell schreiben, in eine saubere und professionell wirkende Web-UI verwandeln und diese bequem an Endnutzer ausliefern. Evidence ist eine statisch generierte Website, SQLPage hingegen eine Web-App, die mit einer Live-Datenbank verbunden ist.
    SQLPage: https://sql.ophir.dev/
    Evidence: https://evidence.dev

  • Ich mag Superset.
    Ich habe es seit 2017 in zwei Unternehmen in Produktionsumgebungen eingesetzt, und mein aktueller Arbeitgeber ist ein großes Unternehmen.
    Ich halte es für das beste universelle datenbankbasierte Dashboard-System. Ich habe nicht vor, für Tableau oder Power BI zu bezahlen.
    Bei Airflow genauso.

    • Ich verstehe nicht ganz, was mit „Bei Airflow genauso“ gemeint ist.

  • Mit der Superset-Instanz von Wikipedia kann man die internen Datenbanken von Wikipedia abfragen.
    https://superset.wmcloud.org
    https://phabricator.wikimedia.org/T169452
    Früher habe ich damit eigene Statistiken erstellt.
    https://github.com/altilunium/wikiidmon

  • Verwandte Beiträge. Ich frage mich, ob es noch weitere gibt.
    Open source Business intelligence platform made with Python - https://news.ycombinator.com/item?id=29368664 - November 2021 (49 Kommentare)
    Apache Superset 1.1 - https://news.ycombinator.com/item?id=27439939 - Juni 2021 (28 Kommentare)
    The Apache Software Foundation Announces Apache Superset as a Top-Level Project - https://news.ycombinator.com/item?id=25905277 - Januar 2021 (1 Kommentar)
    Apache Superset is an enterprise-ready business intelligence web application - https://news.ycombinator.com/item?id=21133931 - Oktober 2019 (7 Kommentare)

  • Superset ist leistungsfähig, aber ich frage mich, warum man kleine Unannehmlichkeiten nicht behebt. Zum Beispiel ist ein Spinner-Pixel versetzt, man kann Zellwerte in Tabellen nicht kopieren, oder für Zahlen in Tabellen wird keine Schrift mit fester Breite verwendet. Im Produkt gibt es Hunderte solcher kleinen Ärgernisse.

    • Wir bemühen uns, das zu beheben. Wenn es störende Punkte gibt, nehmen wir natürlich auch PRs und Issues entgegen.
      Man muss immer abwägen zwischen neuen Funktionen, die die Leute verlangen, und dem Beheben solcher immer wieder auftauchenden UI-Probleme.

  • Ich frage mich, ob jemand sowohl Superset als auch Metabase verwendet hat. Ich habe Metabase in einigen Projekten eingesetzt, und es war ziemlich gut. Superset wirkt dafür mächtiger.
    Ich frage mich, ob es sich auch für BI mit kleineren Datensätzen lohnt.

    • In meinem aktuellen Unternehmen nutzen wir Metabase, und ich habe auch mit Superset recht viel Erfahrung, wenn auch vor ein paar Jahren.
      Wir haben uns für Metabase entschieden, weil es Tabellen-Joins gab. Als ich Superset benutzt habe, gab es dort keine Joins, und ich weiß nicht, ob das später hinzugefügt wurde. Auch optisch wirkt Metabase etwas ausgefeilter.
      Trotzdem bevorzuge ich persönlich Superset deutlich. Bei Metabase musste ich viele Funktionen abschalten, damit es brauchbar wurde, und von Dingen wie der Anzeige von „the_table“ als „The Table“ bis zur Intransparenz zwischen dem Modell und den „Fragen“ fand ich vieles ständig störend. Es war auch nervig, dass beim Versuch, eine Frage zu ändern, jedes Mal eine neue Frage erstellt werden sollte.
      Besonders problematisch war das, wenn man die Datenquelle vieler Fragen ändern wollte, weil es in Metabase keinen sauberen Weg gab, das zu tun, ohne neue Fragen anzulegen.
      Außerdem ist in Metabase Serialisierung nur möglich, wenn man bezahlt und selbst hostet. Ich hoste es selbst, verstehe aber nicht genau, wofür ich da eigentlich bezahle, und das ist ziemlich ärgerlich.
      https://www.metabase.com/docs/latest/installation-and-operat...
      Aber Tabellen-Joins sind möglich. Manchmal ist allein das Grund genug, Metabase in Kauf zu nehmen.
    • Um etwas zu wiederholen, das ich vor etwa 60 Tagen geschrieben habe: Ich habe kürzlich Superset, Metabase und Lightdash grob verglichen, alle drei sind Open Source und bieten Hosting-Optionen. Alle hatten erhebliche Schwächen, aber am Ende habe ich mich für Lightdash entschieden.
      Superset ist bei der Datenvisualisierung am besten, aber für Self-Service-BI durch Fachanwender bei einem bestehenden Star-Schema ist es meiner Meinung nach fast unbrauchbar. Dieses Issue dazu, wie man in Superset Joins umsetzen soll, zeigt die Schwierigkeiten von Superset-BI auf einen Blick, einschließlich des Chaos, das stalebot anrichtet.
      https://github.com/apache/superset/issues/8645
      Metabase ist ziemlich gut und definitiv die richtige Wahl für Startups, die schnell und kostengünstig BI aufbauen wollen. Es hat zwar weiterhin eine starke Tabellenzentrierung, wirkt aber eher für BI gebaut als nur für einfache Visualisierung.
      Lightdash hat große Schwächen wie YAML, Pivoting im Frontend und das Fehlen symmetrischer Aggregationen, ist aber klar von Looker beeinflusst und macht es einfach, Fachanwendern sofort nutzbare Tabellengruppen zu präsentieren. Ich mochte Looker, bevor es von Google übernommen wurde, und unsere Fachanwender kannten zwar die Begriffe Star-Schema und Snowflake-Schema nicht, waren aber an solche Strukturen gewöhnt, und es war leicht, Lightdash auf unser bestehendes Data Warehouse aufzusetzen.
    • Ehrlich gesagt ist Metabase benutzerfreundlicher als Superset. Dafür hat Superset eine deutlich freizügigere Lizenz und ist daher ideal für Leute, die Superset anpassen oder Daten-Apps bauen wollen.
    • Metabase ist gut. Ich verwende es mit Oracle Database.

  • Wir nutzen im Unternehmen viel Metabase. Der Punkt, an dem all diese Tools schwach wirken, ist jedoch die Art, wie man Hunderte von Dashboards und Fragen organisiert
    Es wäre gut, wenn es so etwas wie ein eingebautes Wiki gäbe, mit dem sich die Navigationsstruktur besser aufbauen ließe. Ich würde gern wissen, ob jemand dafür eine gute Methode kennt.

    • Stimme ich vollkommen zu.
      Eine hilfreiche Methode ist, Metabase mit seiner eigenen Datenbank zu verbinden und dann Abfragen über Abfragen zu bauen.
      select *
      from report_card
      where dataset_query ilike '%' || {{query}} || '%'
      Man kann auch Metadaten wie den Autor oder den Zeitpunkt der letzten Ausführung joinen.
      Ich versuche wirklich, die Verzeichnisstruktur der Collections sauber und konsistent zu halten, aber trotzdem bleibt es schwierig.
    • Ein Blick auf https://datahubproject.io/integrations könnte sich lohnen. Ich habe heute zum ersten Mal davon gehört, aber es wirkt ziemlich vielversprechend. Es ist ein von LinkedIn abgespaltenes Open-Source-Projekt und bietet viele Integrationen, unter anderem mit Metabase.
    • Das bringt mich auf eine Idee. Vielleicht könnte man Metabase-SQL-Abfragen nach der Ähnlichkeit ihrer Ergebnisse oder der Abfragen selbst gruppieren.
      Eine andere Möglichkeit wäre, mit einem LLM Abfragen zusammenzufassen, zu taggen und zu gruppieren, damit sie leichter auffindbar sind.

  • Ich frage mich, ob Superset auch dann ein gutes Tool ist, wenn man Datenanalyse allein betreibt
    Zum Beispiel habe ich ein paar sqlite-Datenbanken und möchte einfach nur Abfragen und Diagramme entwickeln. Ich habe mir Tableau, Power BI und Superset angesehen, aber alle wirkten für einen einzelnen Nutzer ziemlich schwergewichtig, und auch die lokale Einrichtung sah nicht besonders einfach aus.
    Ich würde mich über Empfehlungen für gute Software für Einzelnutzer freuen oder darüber, wie man solche schwergewichtigen Tools komfortabler betreiben kann.

    • Wenn es um Datenanalyse geht, glaube ich nicht, dass die drei genannten Tools besonders hilfreich sind.
      Diese Produkte sind eher Tools für Datenvisualisierung und Reporting, die aufbereitete Datensätze für Nutzer ansprechend darstellen. Für ernsthafte Analysen sind sie weniger geeignet.
      Superset oder Tableau kenne ich nicht gut, aber mit Power BI bin ich vertraut, weil es in unserer gesamten Organisation eingeführt ist. Die Statistik, die man mit Power BI machen kann, ist ziemlich grundlegend. Sobald man über Zusammenfassungen wie Anzahl, Durchschnitt, Minimum und Maximum hinausgeht, wird es nicht besonders einfach.
      Für Datenanalyse nutze ich SAS oder R. Mit solcher Software kann man Dinge wie multivariate Regression, Zeitreihenprognosen, Hauptkomponentenanalyse und Clusteranalyse machen, und sie bietet auch Diagrammfunktionen.
      Beide sind etwas altmodisch. Ich benutze sie seit den frühen 2000ern, und der aktuelle Weg scheint Python zu sein. Unsere neueren Data-Science-Leute in der Organisation verwenden fast alle Python, besonders Bibliotheken wie Pandas und Seaborn(https://seaborn.pydata.org/).
      Die Power-User von Power BI in unserer Organisation kommen meist aus Finanzen oder HR und nutzen es oft dafür, Kostenkennzahlen detailliert aufzuschlüsseln oder KPI und wichtige Kennzahlen dem Management interaktiv zu präsentieren.
    • Tableau ist von den drei Optionen die beste, leistungsfähigste und ausgereifteste Lösung, mit dem vollständigsten Funktionsumfang, und es ist auch am einfachsten zu bedienen. Soweit ich weiß, gibt es eine 30-Tage-Testversion.
      Man kann es als Einzelnutzer-Anwendung verwenden, und solange man es nicht als Teil einer gebauten Anwendung einbettet, ist das auch völlig in Ordnung.