Simpsons Paradoxon

Simpsons Paradoxon

• Simpsons Paradoxon ist in der Wahrscheinlichkeitsrechnung und Statistik das Phänomen, dass sich in den Daten mehrerer Gruppen ein Trend zeigt, dieser Trend jedoch verschwindet oder sich umkehrt, wenn die Gruppen zusammengefasst werden.
• Dieses Ergebnis wird in den Sozialwissenschaften und in der medizinischen Statistik häufig beobachtet und ist besonders problematisch, wenn Häufigkeitsdaten unzulässig kausal interpretiert werden.
• In der statistischen Modellierung kann dieses Paradoxon aufgelöst werden, wenn Störvariablen und Kausalzusammenhänge angemessen berücksichtigt werden.

Beispiele

Geschlechterbias an der UC Berkeley

• In den Statistiken zu den Zulassungen für Graduate-Programme an der UC Berkeley im Herbst 1973 zeigte sich, dass Männer eine höhere Zulassungswahrscheinlichkeit als Frauen hatten.
• Berücksichtigt man jedoch die Zulassungsdaten nach Fachbereichen, zeigt sich, dass Frauen dazu neigten, sich bei stärker umkämpften Fachbereichen zu bewerben, während Männer sich eher bei vergleichsweise weniger kompetitiven Fachbereichen bewarben.
• Korrigiert man die Gesamtdaten, zeigt sich eine „geringfügige, statistisch signifikante Verzerrung zugunsten von Frauen“.

Behandlung von Nierensteinen

• Ein Beispiel aus einer realen medizinischen Studie, in der die Erfolgsraten zweier Behandlungsmethoden für Nierensteine verglichen wurden.
• Sowohl bei kleinen als auch bei großen Steinen ist Behandlung A wirksamer, doch wenn beide Größen zusammen betrachtet werden, wirkt Behandlung B erfolgreicher.
• Dieses Paradoxon entsteht durch die verborgene Variable der Steingröße und tritt auf, wenn diese Variable nicht berücksichtigt wird.

Schlagdurchschnitt

• Beim Vergleich des Schlagdurchschnitts von Profi-Baseballspielern kann Simpsons Paradoxon auftreten.
• Ein Spieler kann über mehrere Jahre hinweg einen höheren Schlagdurchschnitt als ein anderer haben, aber über alle diese Jahre zusammen einen niedrigeren Schlagdurchschnitt aufweisen.

Kritik

• Es gibt Kritik, dass Simpsons Paradoxon in Wirklichkeit kein Paradoxon ist, sondern ein Problem, das dadurch entsteht, dass die Kausalbeziehungen zwischen Variablen nicht korrekt berücksichtigt werden.
• Das Phänomen kann verschwinden oder sich umkehren, wenn Daten anders klassifiziert oder andere Störvariablen berücksichtigt werden.
• Es wird auch darauf hingewiesen, dass der Fokus auf Simpsons Paradoxon von wichtigeren Problemen ablenken kann, auf die man bei statistischen Analysen achten sollte.

Meinung von GN⁺

• Simpsons Paradoxon liefert eine wichtige Lehre für Datenanalyse und statistische Inferenz. Es betont, dass bei der Interpretation von Daten nicht nur einfache Zahlenvergleiche wichtig sind, sondern auch das Verständnis der Beziehungen zwischen Variablen und des situativen Kontexts.
• Dieses Paradoxon erinnert Data Scientists und Forschende daran, bei der Analyse von Daten Störvariablen zu identifizieren und geeignete statistische Methoden zu verwenden, um Kausalzusammenhänge zu klären.
• Simpsons Paradoxon kann als Beispiel genutzt werden, um die Bedeutung von Datenanalysetechniken zu verdeutlichen, die Fehlinterpretationen von Daten verhindern und zu präziseren Schlussfolgerungen führen.
• In der Ausbildung im Bereich Data Science kann Simpsons Paradoxon als wichtiges didaktisches Werkzeug eingesetzt werden und dazu beitragen, das Bewusstsein für potenzielle Fehler bei der Interpretation komplexer Datensätze zu schärfen.
• Zu den statistischen Methodologien, die beim Verständnis und bei der Auflösung dieses Paradoxons helfen, gehören multivariate Analyse, logistische Regression und Modelle der Kausalinferenz; diese Methoden sind für Datenanalysten bei der Lösung realer Probleme essenziell.

[GN⁺]

Hacker-News-Kommentare

• Ein Datenanalyst erlebte während seiner Arbeit beim E-Commerce-Unternehmen The Hut Group einen Fall, in dem berichtet wurde, die Marketingkosten seien gesunken, obwohl sie tatsächlich fast auf das Doppelte gestiegen waren.

  • Das Marketingteam berichtete, dass die Marketingkosten in jeder einzelnen Produktkategorie gesunken seien, doch weil der Umsatzanteil der Kategorie Nahrungsergänzungsmittel stark zunahm, stieg der gesamte Anteil der Marketingkosten.
  • Das war eine Gelegenheit, das Yule-Simpson-Paradoxon zu erklären, ein Beispiel dafür, dass individuelle Ergebnisse und das Gesamtergebnis voneinander abweichen können.

• Der Mathematiker Jordan Ellenberg argumentiert, dass das Simpson-Paradoxon in Wirklichkeit kein Widerspruch ist, sondern zwei unterschiedliche Perspektiven auf dieselben Daten beschreibt.

  • Das ist eine wichtige Analysemethode in der Datenanalyse, bei der Teilmengen und das Ganze gleichzeitig betrachtet werden.

• Ein Statistikdozent nutzte US-Immobilienpreisdaten, um das Simpson-Paradoxon zu erklären.

  • Dabei zeigte sich, dass Häuser ohne zentrale Klimaanlage im Durchschnitt teurer waren als Häuser mit einer solchen, obwohl sich diese Beziehung bei Aufschlüsselung nach Bundesstaaten umkehrte.
  • Der Grund dafür war, dass teure Häuser in Kalifornien den Durchschnittspreis nach oben zogen.

• Man sollte sich auch des Berkson-Paradoxons bewusst sein.

  • Es erklärt, dass in verzerrt zusammengesetzten Datensätzen Fehler auftreten können.

• Die kurze Animation auf der Wikipedia-Seite zum Simpson-Paradoxon ist ein gutes Beispiel, das das Verständnis erleichtert.

• Kürzlich wurde klar, dass das Simpson-Paradoxon auch eine Lehre für kausale Inferenz bietet.

  • Wenn man das richtige Paradigma anwendet, löst sich das Paradoxon auf.

• Lords Paradoxon ist eng mit dem Simpson-Paradoxon verwandt und visuell leicht zu verstehen.

  • Am Beispiel des Zusammenhangs zwischen Medikamentendosis und Schlafdauer zeigen die Regressionslinien für individuelle Daten und Gesamtdaten unterschiedliche Ergebnisse.

• Zunächst wurde fälschlich angenommen, das Simpson-Paradoxon ähnele einer Szene aus einer Episode von "Die Simpsons", doch das könnte eine absichtliche Ähnlichkeit der Simpsons-Autoren aus den späten 1990ern gewesen sein.

• Nach der Lektüre eines Falls, in dem es beim Zulassungsverfahren der UC Berkeley so aussah, als gebe es eine geschlechtsspezifische Verzerrung, wurde festgestellt, dass Frauen und Männer dazu neigen, sich jeweils bei stärker umkämpften beziehungsweise weniger umkämpften Fachbereichen zu bewerben.

  • Das steht im Gegensatz zur Situation in Australien, wo man im Allgemeinen erwarten würde, dass die Zulassung zu geisteswissenschaftlichen Fächern leichter ist als zu STEM-Fächern.

• Die Visualisierung auf Wikipedia ist äußerst effektiv, sodass man das Paradoxon auch ohne zusätzliche Erklärung verstehen kann.