Warum ich Boxplots nicht mehr verwende (2021)
(nightingaledvs.com)- Boxplots sind ein klassisches Diagramm zur Zusammenfassung von Verteilungen, aber es dauert mehrere Minuten, zu erklären, wie man sie liest, sodass ihr Nutzen im Verhältnis zu den Lernkosten gering ist
- Unter Tausenden Workshop-Teilnehmenden lag der Anteil derer, die Boxplots bereits lesen konnten, meist bei unter 20 %, und die Verständnislast war sogar höher als bei Streudiagrammen oder Histogrammen
- Das traditionelle Design mit Box und Whiskern, Medianlinie und Intervalllängen weicht von der tatsächlichen Bedeutung der Daten ab und führt leicht zu visuellen Fehlinterpretationen
- Obwohl abstrakte Konzepte wie Quartile vorausgesetzt werden, werden Lücken, mehrgipflige Verteilungen und die Anzahl der Werte je Gruppe verborgen, und mehrere Verteilungen können wie glockenförmige Kurven erscheinen
- Stripplots, jittered Stripplots und Verteilungs-Heatmaps werden schneller verstanden, zeigen die Form der Verteilung direkt und können für alltägliche Entscheidungen praktischer sein
Warum ich Boxplots kaum noch verwende
- Es kann mehr als 4 Minuten dauern, zu erklären, wie man einen Boxplot liest. Um diese Lernkosten zu rechtfertigen, müsste er große Einsichten liefern, die sich nicht mit einfacheren Diagrammen vermitteln lassen
- In der Praxis lassen sich die meisten Einsichten, die man mit Boxplots vermitteln möchte, auch mit vertrauteren und einfacheren Diagrammen zeigen
- Obwohl Boxplots Verteilungen zeigen sollen, muss das Publikum zuerst mehrere Interpretationsregeln durchlaufen, bevor es die Daten überhaupt sehen kann
Verständnisbarrieren aus Workshops
- Die Tausenden Workshop-Teilnehmenden verfügten im Allgemeinen über ein überdurchschnittliches Niveau an graphicacy, aber der Anteil derer, die Boxplots bereits lesen konnten, lag meist bei unter 20 %
- Boxplots waren schwerer zu verstehen als andere grundlegende Diagrammtypen und verursachten sogar mehr Aufwand als komplexere Diagramme wie Streudiagramme oder Histogramme
- Selbst wenn das Publikum mit Boxplots vertraut ist, erfordern sie mehr kognitiven Aufwand bei der Interpretation als Stripplots oder Verteilungs-Heatmaps und bieten mehr Raum für Missverständnisse
Wo das traditionelle Design der Intuition widerspricht
- Der traditionelle Boxplot wurde erstmals 1952 von Mary Spear vorgeschlagen und 1969 von John Tukey weiterentwickelt
- Es gibt drei Hauptprobleme im visuellen Design
- Die dicke Box wirkt so, als stelle sie mehr Werte oder größere Wichtigkeit dar als die dünnen Whisker, obwohl alle vier Abschnitte gleich viele Werte enthalten
- Die mittlere Box erscheint als ein Block, der durch die Medianlinie geteilt wird, sodass das Ganze wie drei Teile wirkt, obwohl es in Wirklichkeit vier Quartilsbereiche sind
- Menschen nehmen längere Formen als größere Mengen wahr, aber in einem Boxplot bedeuten längere Abschnitte nicht mehr Werte
- Kurze Abschnitte stehen tatsächlich für eine höhere Wertedichte, wirken visuell jedoch wie weniger Menge, sodass visuelle Form und Datenbedeutung kollidieren
- Alternative Entwürfe könnten klarer machen, dass kurze Abschnitte eine hohe Konzentration von Werten bedeuten, den beiden mittleren Abschnitten keine unnötige Betonung geben und das Ganze wie vier Formen erscheinen lassen
- Dennoch sind auch solche Entwürfe in den meisten Situationen kaum zu empfehlen, und einfachere Verteilungsdiagramme können die bessere Wahl sein
Die Lernkosten der Quartile
- Um Boxplots zu verstehen, muss man das Konzept von Quantilen und insbesondere Quartilen kennen, bei dem eine sortierte Menge von Werten in Bereiche mit jeweils gleich vielen Werten aufgeteilt wird
- Viele Zielgruppen sind mit diesem Konzept nicht vertraut, und um es richtig zu verstehen, braucht es oft mehrere Minuten Erklärung mit Visualisierungen und Beispielen
- Um das Diagramm korrekt zu interpretieren, muss man diese abstrakten Konzepte also zunächst ausreichend verstehen
- Viele nützliche Einsichten über Verteilungen lassen sich auch ohne Quantile oder Quartile mit anderen Diagrammen vermitteln
Vertrautheit garantiert kein gutes Design
- Wer Boxplots lange gesehen hat, hat möglicherweise gelernt, ihre Designmängel bei der Interpretation zu umgehen
- Wer ihnen zum ersten Mal begegnet, wird durch dieselben Mängel leicht verwirrt
- In Organisationen kann es passieren, dass Analysten wichtige Einsichten mit Boxplots vermitteln wollen, aber an der Überzeugungskraft scheitern, wenn Entscheidungsträger nicht bereit sind zu lernen, wie man sie liest
- Wenn Analysten danach schließen, das Publikum verstehe keine Verteilungsdiagramme, könnten sie das Problem fälschlich nicht dem Boxplot selbst, sondern der Verteilungsvisualisierung insgesamt zuschreiben
- Mit intuitiveren Verteilungsdiagrammen lassen sich die wertvollen Einsichten aus Verteilungsvisualisierungen womöglich besser vermitteln
Wie Boxplots Verteilungen verzerren
- Vergleicht man dieselben Daten in einem Boxplot und einem jittered Stripplot, kann der Boxplot die Verteilungen verschiedener Gruppen fast gleich aussehen lassen
- Er neigt dazu, sie wie glockenförmige Verteilungen erscheinen zu lassen, bei denen sich die Werte um den Median konzentrieren und zu beiden Seiten allmählich abnehmen
- Selbst wenn die tatsächliche Wertemenge nicht glockenförmig ist, kann sie im Boxplot so wirken
- Wer nur den Boxplot sieht, kann schwer erkennen, ob alle Verteilungen tatsächlich glockenförmig sind, und kann bestenfalls raten
- Auch Lücken in der Verteilung und die Anzahl der Werte pro Gruppe können verborgen werden
- Es gibt Boxplot-Varianten und anspruchsvollere Diagramme, die Verteilungen genauer zeigen, aber sie lösen das Kernproblem des Boxplots – seine schwierige Erlernbarkeit – nicht und können sogar noch schwerer sein
Intuitivere Alternativdiagramme
- Die am häufigsten verwendete Alternative ist der Stripplot
- Er lässt sich mit einem Satz erklären, etwa: „Jeder Punkt ist das Alter einer Studienteilnehmerin oder eines Studienteilnehmers“
- Die meisten Zielgruppen verstehen ihn in wenigen Sekunden
- Er kann zeigen, ob eine Verteilung höher oder niedriger liegt, konzentriert oder gestreut ist, normal oder schief verteilt ist und ob es Ausreißer gibt
- Außerdem zeigt er Lücken in der Verteilung, mehrgipflige Verteilungen und die ungefähre Anzahl der Werte je Menge – Dinge, die ein Boxplot nicht zeigt
- Bei mehr als einigen Dutzend Werten können Punkte überlappen und ein Stripplot wie eine Linie wirken; dann kann ein jittered Stripplot mehr Werte aufnehmen
- Bei Hunderten oder Millionen Werten kann auch ein jittered Stripplot zu einem überlappenden Punktcluster werden; dann kann eine Verteilungs-Heatmap jede beliebige Anzahl von Werten verarbeiten
- Verteilungs-Heatmaps führen mit bins oder Intervallen zwar zusätzliche Komplexität ein, aber bins sind deutlich leichter zu verstehen als Quartile
- Verteilungs-Heatmaps verlieren die Fähigkeit, die Anzahl der Werte je Gruppe zu zeigen, und haben einige Einschränkungen, aber Boxplots haben dieselben Einschränkungen plus weitere
- Auch frequency polygons, violin plots, cumulative distribution plots und bee swarm plots können in bestimmten Situationen nützlich sein
- Histogramme eignen sich im Allgemeinen zur Visualisierung einer einzelnen Wertemenge, während Boxplots und ihre Alternativen eher zum Vergleich mehrerer Wertemengen dienen
Die Vorteile von Boxplots und ihre begrenzten Einsatzbereiche
- Der einzige wirkliche Vorteil von Boxplots könnte darin liegen, dass sie den Interquartilsabstand zeigen
- Es kommt jedoch nicht oft vor, dass genau dieser Interquartilsabstand zwingend gezeigt werden muss, um die Aussage der Daten zu vermitteln
- In den meisten Fällen braucht man vor allem Einsichten darüber, ob Verteilungen höher oder niedriger liegen, konzentriert oder gestreut sind und ob es Ausreißer gibt – und diese Einsichten lassen sich auch ohne Interquartilsabstand mit einfacheren Diagrammen vermitteln
- Selbst wenn der Median wichtig ist, lässt er sich einem einfacheren Diagramm leicht hinzufügen
- Es ist schwer, sich Situationen vorzustellen, in denen Boxplots wirklich die beste Wahl sind – außer wenn das Publikum sie ausdrücklich verlangt, weil es mit ihnen vertraut ist
Warum wir uns von Boxplots lösen sollten
- Boxplots gelten nicht als Diagramme, die früher gut waren und durch den technischen Fortschritt veraltet sind, sondern eher als Diagramme, die von Anfang an nicht gut gestaltet waren
- Ihre Designmängel haben von Studierenden, Führungskräften und anderen Diagrammlesenden unnötig umständliche Verstehensprozesse verlangt
- Heute lassen sich bessere Diagramme leicht erstellen, und wenn wir uns von Boxplots lösen, können wir künftigen Leserinnen und Lesern unnötige kognitive Mühe ersparen
- Selbst für ein statistisch versiertes Publikum können in fast allen Situationen andere Diagramme die bessere Wahl sein
- Praktiker sollten besonders dann Alternativen in Betracht ziehen, wenn das Publikum mit Boxplots nicht vertraut ist, und selbst bei vertrautem Publikum können intuitivere Diagramme erwogen werden
1 Kommentare
Hacker-News-Kommentare
Hier scheinen der Autor und andere etwas durcheinanderzubringen. Ein Boxplot macht eine Verteilung nicht glockenförmig und verändert sie auch nicht, nimmt aber an, dass die Daten einer glockenförmigen/Gaußschen Verteilung folgen.
Wenn der zentrale Grenzwertsatz anwendbar ist, passt das, andernfalls ist die Annahme falsch und die vom Boxplot gezeigten Werte sind kaum nützlich. Boxplots haben durchaus ihren Zweck, aber man muss die Grundlagen der Statistik verstehen, um sie sinnvoll zu verwenden.
Man kann die Verwendung von Boxplots also durchaus kritisieren. Alternativen zeigen glockenförmige Verteilungen ebenfalls gut, können aber auch sichtbar machen, wenn sie nicht glockenförmig sind.
Ich stimme voll zu, dass man Boxplots nur für unimodale Verteilungen, die einer Glocken-/Gaußform ausreichend ähnlich sind, verwenden sollte. Wenn die Verteilung nicht glockenförmig ist, etwa bimodal, führt das zu Missverständnissen und man sollte sie nicht verwenden; ist sie glockenförmig, scheint es kein großes Problem zu geben.
Wenn man die Verteilung der Stichprobe selbst als Stellvertreter der Grundgesamtheit sehen will, ist die Form der Verteilung der Stichprobenmittelwerte nicht besonders interessant. Der Stichprobenmittelwert ist auch nicht die einzige nützliche Kennzahl, und in der Natur folgt fast nichts einer Normalverteilung. Nützlich ist die Normalverteilung meist deshalb, weil wir die analytische Form der Gauß-Funktion und den Umgang damit gut kennen, nicht weil diese Schätzung so nützlich wäre, wie es scheint. Zum Beispiel ist die Poisson-Verteilung viel häufiger.
Das Beispiel ist eine bimodale Verteilung mit zwei Gipfeln, und dafür wurde ein Boxplot gewählt, also ein Diagramm für eine einmodalige Form. Ehrlich gesagt schwer nachzuvollziehen.
Der einzige Vorteil von Boxplots war früher, dass man sie von Hand zeichnen konnte. Jetzt, da Computer überall verfügbar sind, ist dieser Wert verschwunden.
Violinplots und Beeswarm-Plots sind besser, und auch Strip-Plots mit Jitter sind in Ordnung, solange man bei gesättigten Bereichen aufpasst. Wenn man dort weitere Punkte einzeichnet, werden sie nicht dunkler und können dadurch unsichtbar wirken.
Wenn man möchte, kann man gejitterte Punkte darüberlegen.
Angela Collier hat in einem Video gut darüber gerantet, warum nicht: https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
Boxplots sind ziemlich nützlich, weil sie leicht zu lesen sind, aber nur dann, wenn man darauf vertrauen kann, dass der Ersteller das Histogramm tatsächlich geprüft hat — und dieses Vertrauen gibt es meistens nicht.
Menschen verfolgen widersprüchliche Ziele. Einerseits wollen sie viele Zahlen auf eine oder wenige zusammenfassende Statistiken komprimieren, andererseits bereuen sie diese Datenkompression sofort, sobald die Zusammenfassung auch nur ein wenig irreführend ist.
Das liegt am Wunsch nach Einfachheit, die es in Wirklichkeit womöglich gar nicht gibt, insbesondere wenn man sich nach eindeutigen Schlussfolgerungen sehnt; eher ein verbreitetes Leiden der menschlichen Natur.
Auch die Verteilung, die ein Boxplot darstellt, ist oft nur die Verteilung von „einer Stichprobe“. In diesem Sinn hat eine Verteilung eine eigene Unsicherheit, und ein Violinplot stellt diese Unsicherheit zum Beispiel nicht dar. Wie bei jeder Debatte um das „richtige Werkzeug für die Aufgabe“ gehen die Urteile je nach Erfahrung mit den Werkzeugen und danach auseinander, wie man Dinge für andere vereinfacht.
https://github.com/c-blake/bu/blob/main/doc/edplot.md
Hier verteidigen deutlich mehr Leute Boxplots, als ich erwartet hätte.
Aber Erklärungen der Art „Boxplots sind nützlich, weil sie für bestimmte Anwendungsfälle das beste Diagramm sind“ sehe ich kaum. Mir fällt nicht sofort eine Situation ein, in der ich lieber einen Boxplot als einen Strip-Plot oder Violinplot sehen würde. Wann und warum möchte man Daten so grob zusammenfassen und so unintuitiv visualisieren?
Sie wollen Median, niedrige/hohe Perzentile, Maximum/Minimum oder Ausreißer sehen, aber nicht alle dazwischen verstreuten Datenpunkte. Das wäre überwältigendes Rauschen. Eigentlich mögen sie Tabellen mit genau diesen Zahlen, wollen aber auf einer einzigen PowerPoint-Folie zehn Zeitreihen historischer Preise aus verschiedenen Märkten vergleichen. Ein Boxplot erlaubt einen schnellen visuellen Vergleich von Median und den wichtigsten Perzentilen. Wenn man nicht standardmäßige Werte verwendet, kann man die Perzentile einfach beschriften. Mit Jitter oder Violinplots fixieren sie sich auf seltsame zufällige Formen, und das Meeting driftet ab.
Die wichtige Voraussetzung ist, dass die Prozesse, die diese Werte erzeugen, im physikalischen Sinn gleichartig und damit vergleichbar sind. Die Verteilungen sind außerdem grob lognormal-ähnliche unimodale Verteilungen. In diesem Fall ist das Ziel der Visualisierung nicht, die Eigenschaften der Verteilung selbst zu verstehen, sondern die geschäftlich relevanten Perzentile zu zeigen.
Wenn die Verteilung komplexer ist und man mehr Details braucht, sind Histogramme oder Ridgeline-Plots besser. Violinplots sehen mit ihrer Kurve nur etwas hübscher aus, sind aber nicht die beste Wahl zur Informationsvermittlung.
Dabei betrachtet man nicht nur die Mediane jeder Population, sondern vergleicht auch die schattierten Bereiche.
Wenn man mehrere Gruppen vergleicht und sich nur für große Unterschiede interessiert, sind sie ein hervorragendes Werkzeug. Sie sind auch gut, wenn man glaubt, dass die Daten normalverteilt sind und Histogramme irreführend sein könnten, und selbst wenn sie nicht normalverteilt sind, solange man sich für Quartile interessiert.
Wenn eine Tabelle mit fünf Zahlen — Minimum, Maximum, Median sowie 25./75. Perzentil — ausreicht, dann ist ein Boxplot ein gutes Werkzeug für den grafischen Vergleich.
Ich habe über Jahrzehnte in Schule, Universität und Beruf Boxplots verwendet, daher hat mich der Artikel nicht vollständig überzeugt.
Nachdem ich diese Kommentare gelesen habe, trifft mich jedoch der Kernpunkt des Autors deutlich: Selbst wenn man einen Raum mit klugen, sachkundigen Menschen füllt, können sie sich bei Verständnis und Interpretation von Boxplots komplett uneinig sein.
Das überrascht mich etwas, aber allein die Belege in diesem Thread reichen mir fast schon als Schlussfolgerung.
Es gibt keinen Grund, die Verwendung von Boxplots einzustellen. Man sollte sie dann verwenden, wenn sie passen, also um Lage und Streuung zu zeigen. Sie sind nicht dazu da, die Form der Verteilung zu zeigen.
Über Quartile und Grenzen hinaus enthalten sie keinerlei Information über Modalität oder Verteilung. Nützlich sind sie vor allem beim Vergleich mehrerer Gruppen, weniger bei der Analyse einer einzelnen Gruppe.
Der Autor spricht, als wüsste er über etwas Bescheid, das er nicht wirklich versteht. Hätte er auch nur irgendetwas von Tukey gelesen, wüsste er das; es reicht nicht, nur den Namen anzuführen.
Der Autor sieht darin jedoch ein menschliches Problem. Ein Plot ist nicht für Maschinen, sondern zum Lesen durch Menschen da, und der Autor möchte, dass möglichst viele Menschen ihn leicht lesen und interpretieren können. Auch wenn die mathematische Bildung zu wünschen übrig lässt, muss man von der Realität ausgehen, und ich halte das für ein vernünftiges Ziel. Ich stimme zu, dass man nicht wissen müssen sollte, was Quartile sind, um zu erkennen, wie breit eine Verteilung gestreut ist.
Einige scheinen den Teil mit den meisten Situationen übersehen zu haben. Er sagt, dass er aus irgendeinem Grund aufgehört hat, Boxplots zu verwenden, weil sie bei seinem Publikum nicht funktionieren. Wie der Titel sagt, sollten auch wir unsere Nutzung von Boxplots überdenken und schauen, ob es bessere Alternativen gibt.
Außerdem muss man im Kopf behalten, von welchen Lesern er spricht: nicht von Menschen, die Boxplots verstehen, sondern von Menschen, die sie nicht kennen oder nicht verstehen. Seinen eigenen Worten nach musste er das Tausenden von Menschen erklären.
Boxplots sind eine Datenkompressionstechnik für Handarbeit. Heute gibt es automatisierte Verfahren, die Datenqualität und visuelle Qualität besser erhalten.
Der Autor gesteht bei manchen Plots Verallgemeinerungen und „spezielle Situationen“ zu, hält aber spezielle Situationen anderer Plots für wertlos.
Mein Fazit ist höchstens, dass man keine Boxplots verwenden sollte, wenn die Verteilung nicht unimodal ist und leicht missverstanden werden kann. Es gibt auch ein Video eines Physik-Rant-YouTubers, den ich mag, das Violinplots kritisiert, also sollte man die vielleicht auch nicht verwenden.
https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A
Boxplots sind ein Relikt aus einer Zeit, in der man keine schönen Diagramme drucken konnte.
Man kann Verteilungen auch wie auf einem scrollenden Oszilloskop oder einer topografischen Karte innerhalb einer einzigen Zeile darstellen, oder einen Dichteplot über die Zeit zeichnen und wichtige Zeiträume schattiert darüberlegen. Siehe dazu den Bereich der Gauß-Prozesse.
Boxplots vereinfachen Verteilungen zu stark und machen dadurch Schlussfolgerungen leichter. Ähnlich kann auch der Mittelwert sehr irreführend sein, trotzdem würde man seine Verwendung nicht verbieten.
Eine gute Schlussfolgerung könnte immer sein, Plots zu verwenden, die die zugrunde liegende Verteilung fair darstellen.
Man kann es einfach so machen, wie es Zeitschriften aus der Nature-Familie inzwischen verlangen: Rohdatenpunkte über den Boxplot legen, sodass man die Vorteile beider Seiten bekommt.