Simpson-Paradoxon

 (en.wikipedia.org)
3 Punkte von GN⁺ 2024-03-13 | 1 Kommentare | Auf WhatsApp teilen
  • Das Simpson-Paradoxon ist ein Phänomen aus Wahrscheinlichkeitstheorie und Statistik, bei dem ein in Untergruppen sichtbarer Trend verschwindet oder sich umkehrt, wenn die Daten zusammengeführt werden; wer nur aggregierte Daten betrachtet, kann daher stark fehlgeleitet werden.
  • Werden Häufigkeitsdaten direkt kausal interpretiert, übersieht man leicht Störvariablen; besonders problematisch ist das in Sozialwissenschaften und medizinischer Statistik.
  • Die Beispiele Zulassung zum Graduate Program der UC Berkeley, Behandlung von Nierensteinen und Schlagdurchschnitt im Profibaseball zeigen, dass Vergleiche nach Untergruppen und Vergleiche über die Gesamtheit zu unterschiedlichen Schlussfolgerungen führen können.
  • Die Umkehr von Raten lässt sich auch aus Vektorperspektive erklären; eine zentrale Einschränkung ist, dass sich allein aus Tabellen schwer entscheiden lässt, ob Daten getrennt oder zusammengeführt werden sollten.
  • Für eine korrekte Interpretation sind kausale Modelle wie Pearls Back-Door Criterion und Do-Calculus erforderlich; wichtiger als einfache Aggregation ist das Verständnis des Datenerzeugungsprozesses.

Phänomen und Name

  • Das Simpson-Paradoxon bezeichnet das Phänomen, dass ein Trend, der in mehreren Datengruppen auftritt, verschwindet oder sich ins Gegenteil verkehrt, wenn die Gruppen zusammengeführt werden.
  • Besonders riskant ist es, Häufigkeitsdaten mit übermäßiger kausaler Interpretation zu versehen; Störvariablen und Kausalbeziehungen müssen in der statistischen Modellierung angemessen berücksichtigt werden.
  • Es dient als klassisches Beispiel dafür, wie der Fehlgebrauch von Statistik zu falschen Ergebnissen führen kann.
  • Edward H. Simpson beschrieb das Phänomen 1951 in einem Fachaufsatz; Karl Pearson erwähnte 1899 und Udny Yule 1903 bereits zuvor ähnliche Effekte.
  • Den Namen Simpson's paradox führte Colin R. Blyth 1972 ein.
  • Weitere Bezeichnungen sind Simpson's reversal, Yule–Simpson effect, amalgamation paradox und reversal paradox.

Beispiel: Zulassung zum Graduate Program der UC Berkeley

  • In den Zulassungsdaten für Graduate Programs der University of California, Berkeley aus dem Herbst 1973 hatten männliche Bewerber in der Gesamtbetrachtung eine höhere Zulassungswahrscheinlichkeit als weibliche Bewerberinnen; der Unterschied war zu groß, um ihn plausibel als Zufall zu erklären.
    • Von insgesamt 12.763 Bewerbern lag die Zulassungsquote bei 41 %.
    • Bei 8.442 Männern lag die Zulassungsquote bei 44 %.
    • Bei 4.321 Frauen lag die Zulassungsquote bei 35 %.
  • Berücksichtigt man Informationen auf Fachbereichsebene, zeigt sich ein anderes Bild als in der Gesamtaggregation.
    • Frauen bewarben sich tendenziell häufiger bei kompetitiveren Fachbereichen mit niedrigerer Zulassungsquote.
    • Männer bewarben sich tendenziell häufiger bei weniger kompetitiven Fachbereichen mit höherer Zulassungsquote.
  • Die aggregierten und die bereinigten Daten zeigten eine kleine, aber statistisch signifikante Verzerrung zugunsten von Frauen.
  • Von insgesamt 85 Fachbereichen zeigten 4 eine signifikante Verzerrung zulasten von Frauen, 6 eine signifikante Verzerrung zulasten von Männern.
  • Die Schlussfolgerung beruhte nicht auf der bloßen Zahl verzerrter Fachbereiche, sondern auf den geschlechtsspezifischen Zulassungsergebnissen über alle Fachbereiche hinweg, gewichtet nach der Ablehnungsquote bezogen auf alle Bewerber des jeweiligen Fachbereichs.

Beispiel: Behandlung von Nierensteinen

  • In einer realen medizinischen Studie trat das Simpson-Paradoxon beim Vergleich der Erfolgsraten der Behandlungen A und B für Nierensteine auf.
    • Treatment A umfasst ein offenes chirurgisches Verfahren.
    • Treatment B umfasst ein geschlossenes chirurgisches Verfahren.
  • Nach Steingröße betrachtet hat Treatment A die höhere Erfolgsrate.
    • Kleine Steine: A hat 93 % (81/87), B hat 87 % (234/270).
    • Große Steine: A hat 73 % (192/263), B hat 69 % (55/80).
  • Werden die Steingrößen zusammengeführt, zeigt Treatment B die höhere Erfolgsrate.
    • Insgesamt: A hat 78 % (273/350), B hat 83 % (289/350).
  • Die Umkehr entsteht, weil Therapieauswahl und Fallschwere zusammenwirken.
    • Ärzte neigten dazu, bei großen Steinen häufiger das bessere Treatment A und bei kleinen Steinen häufiger das relativ unterlegene Treatment B anzuwenden.
    • Die Steingröße hat einen starken Einfluss auf die Erfolgsrate, sodass die Schwere des Falls die Gesamtrate stärker prägt als die Wahl der Behandlung.
  • Das weniger wirksame Treatment B erschien deshalb wirksamer, weil es häufiger bei den leichter zu behandelnden kleinen Nierensteinen eingesetzt wurde.
  • Jaynes sah Treatment A zwar als eindeutig besser als Treatment B an, hielt aber die Größe der Nierensteine für die wichtigere Variable.

Beispiel: Schlagdurchschnitt im Profibaseball

  • Das Simpson-Paradoxon kann auch beim Schlagdurchschnitt von Profibaseballspielern auftreten.
  • Ein Spieler kann in mehreren einzelnen Jahren jeweils einen höheren Schlagdurchschnitt als ein anderer Spieler haben, aber über alle Jahre zusammen einen niedrigeren.
  • Ken Ross zeigte dies anhand der Schlagdurchschnitte von Derek Jeter und David Justice in den Jahren 1995 und 1996.
    • 1995: Jeter hatte 12/48, .250; Justice hatte 104/411, .253.
    • 1996: Jeter hatte 183/582, .314; Justice hatte 45/140, .321.
    • Zusammen: Jeter hatte 195/630, .310; Justice hatte 149/551, .270.
  • Justice hatte in beiden einzelnen Jahren einen höheren Schlagdurchschnitt als Jeter, doch über beide Saisons zusammen erzielte Jeter den höheren Schlagdurchschnitt.
  • Ross zufolge lässt sich ein solches Phänomen unter möglichen Spielerpaaren ungefähr einmal pro Jahr beobachten.

Ratenumkehr aus Vektorsicht

  • Das Simpson-Paradoxon lässt sich auch in einem zweidimensionalen Vektorraum erklären.
  • Eine Erfolgsrate p/q, also Erfolge/Versuche, kann als Vektor mit der Steigung p/q dargestellt werden.
  • Werden zwei Raten zusammengeführt, lässt sich dies als Vektorsumme nach dem Parallelogrammgesetz ausdrücken; die Steigung dieser Summe ist die kombinierte Erfolgsrate.
  • In Einzelvergleichen kann die Steigung eines Vektors kleiner sein als die eines anderen, während die Steigung des aus zwei Vektoren zusammengesetzten Ergebnisses umgekehrt größer wird.
  • Damit eine solche Umkehr auftritt, muss ein Teilvektor einer Seite eine größere Steigung haben als ein Teilvektor der anderen Seite; diese Vektoren sind gewöhnlich länger und dominieren daher den Gesamtvergleich.

Korrelation und kausale Interpretation

  • Simpsons Umkehr kann auch bei Korrelationen auftreten.
  • Zwei Variablen können insgesamt eine positive Korrelation zeigen, unter Berücksichtigung einer verborgenen Störvariable tatsächlich aber negativ korreliert sein.
  • In einem Beispiel aus der Ökonomie sah es bei Betrachtung der Gesamtdaten so aus, als korreliere die Nachfrage positiv mit dem Preis; berücksichtigt man jedoch die Zeitvariable, zeigt sich über mehrere Zeiträume die erwartete negative Korrelation.
  • Ignoriert man den Einfluss der Zeit und zeichnet nur Nachfrage und Preis auf, kehrt sich die Korrelation ins Positive um.
  • Das Simpson-Paradoxon zeigt, dass die Intuition, eine Vorzeichenumkehr sei unmöglich, nicht allein aus klassischer Logik oder Wahrscheinlichkeitsrechnung folgt.
  • Eine eingeschränkte Form von Savages Sure-Thing Principle lässt sich aus Pearls Do-Calculus ableiten.
    • Wenn eine Handlung A in jeder Untergruppe die Wahrscheinlichkeit eines Ereignisses B erhöht, sollte diese Handlung auch in der Gesamtgruppe die Wahrscheinlichkeit von B erhöhen, sofern sie die Verteilung der Untergruppen nicht verändert.
  • Pavlides und Perlman legten einen Beweis vor, dass das Simpson-Paradoxon in zufälligen 2 × 2 × 2-Tabellen mit Gleichverteilung exakt mit Wahrscheinlichkeit 1/60 auftritt.
  • In Kocks Studie ergab sich für Pfadmodelle mit zwei Prädiktorvariablen und einer Kriteriumsvariable eine zufällige Auftretenswahrscheinlichkeit des Simpson-Paradoxons von etwa 12,8 %, also etwas häufiger als einmal pro acht Pfadmodelle.

Simpsons zweites Paradoxon und Kausalgraphen

  • Simpsons Aufsatz von 1951 enthält auch ein weniger bekanntes zweites Paradoxon.
  • In diesem Fall gibt es nicht immer, wie im Nierensteinbeispiel, eine vernünftige Interpretation der getrennten Daten; die zusammengeführten Daten können die richtige Interpretation sein.
  • Ob getrennte oder kombinierte Daten verwendet werden sollten, hängt vom Prozess ab, der die Daten erzeugt hat.
  • Daher lässt sich die korrekte Interpretation nicht immer allein durch Beobachtung der Tabelle bestimmen.
  • Judea Pearl zeigte, dass eine Aufteilungsvariable eine graphische Bedingung namens Back-Door Criterion erfüllen muss, damit die aufgeteilten Daten die richtige kausale Beziehung zwischen den Variablen X und Y darstellen.
    • Sie muss alle Scheinkausalpfade zwischen X und Y blockieren.
    • Keine Aufteilungsvariable darf von X beeinflusst werden.
  • Dieses Kriterium bietet eine algorithmische Lösung für Simpsons zweites Paradoxon und erklärt, dass unterschiedliche Graphen, die mit denselben Daten vereinbar sind, unterschiedliche Back-Door Criteria verlangen können.
  • Wenn eine Kovariatenmenge Z das Back-Door Criterion erfüllt, liefert die Adjustierungsformel den korrekten kausalen Effekt von X auf Y.
  • Gibt es keine solche Menge, lassen sich mit Pearls Do-Calculus andere Wege zur Schätzung des kausalen Effekts finden.
  • Die Vollständigkeit des Do-Calculus kann als vollständige Lösung des Simpson-Paradoxons verstanden werden.

Kritik und praktische Implikationen

  • Eine Kritik lautet, dass das Simpson-Paradoxon weniger ein echtes Paradoxon ist als vielmehr das Ergebnis davon, Störvariablen nicht korrekt zu berücksichtigen oder Kausalbeziehungen zwischen Variablen außer Acht zu lassen.
  • Die Konzentration auf das Paradoxon selbst kann von wichtigeren statistischen Problemen ablenken.
  • Eine weitere Kritik besagt, dass ein scheinbares Simpson-Paradoxon aus der Art entstehen kann, wie Daten stratifiziert oder gruppiert werden.
  • Werden Daten anders stratifiziert oder andere Störvariablen berücksichtigt, kann das Phänomen verschwinden oder sich ins Gegenteil verkehren.
  • Simpsons Beispiel hebt das Phänomen der Noncollapsibility hervor, bei dem hohe Raten in Untergruppen beim Zusammenführen nicht zu einem einfachen Durchschnitt werden.
  • Dennoch bleibt das Simpson-Paradoxon ein fortlaufend untersuchtes und diskutiertes Thema in Statistik und Datenanalyse sowie ein Beispiel für die Fallstricke einfacher Dateninterpretation.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-03-13
Meinungen auf Hacker News

  • Das habe ich vor langer Zeit tatsächlich erlebt, als ich als Datenanalyst bei The Hut Group gearbeitet habe.
    Das Marketingteam sagte, der Anteil der Marketingkosten am Umsatz sei über das ganze Jahr hinweg in allen Produktgruppen gesunken. Am Jahresende war das Management dann überrascht, dass die gesamten Umsatzkosten von 10 % auf fast 20 % gestiegen waren – also nahezu eine Verdopplung.
    Auf Bitte des Finanzteams habe ich das geprüft: Die Zahlen des Marketingteams stimmten, und die Marketingkostenquoten der Produktgruppen Games, Beauty und Nutrition waren jeweils von etwa 15 % auf 10 %, 30 % auf 25 % und 50 % auf 30 % gefallen.
    Allerdings hatte sich der Produktmix stark verändert: Nutrition war von rund 10 % des Gesamtumsatzes auf fast 50 % gewachsen. Weil damit die Kategorie mit der höchsten Kostenquote größer wurde, stieg die gesamte Marketingkostenquote.
    Am Ende wurde die Verkaufseffizienz in jeder einzelnen Kategorie besser, aber die Gesamtkennzahl schlechter. Und ich bekam die unterhaltsame Aufgabe, den Buchhaltern das Yule-Simpson-Paradoxon zu erklären.

    • Fast jeder Datensatz, mit dem man als SRE zu tun hat, ist voll von solchen Paradoxien.
      Ein bekanntes Beispiel von Google: Ein Netzwerkingenieur reiste in ein Land wie Indonesien, bemerkte, dass der Dienst langsam war, fragte nach und bekam von allen zu hören: „Das war schon immer so.“
      Die lokalen Mobilfunknetze waren langsam, und die Glasfaserverbindungen von den Inseln weg waren ausgelastet. Zurück in der Zentrale nahm er Optimierungen vor, um die Payload-Größe zu reduzieren, und rollte eine Version aus, die die Downloadgröße halbierte – doch die durchschnittliche und die p95-Latenz stiegen stattdessen.
      Warum eine objektiv gute Änderung schlecht aussah: Die Nutzer, für die der Dienst stark besser geworden war, begannen ihn viel häufiger zu nutzen.
      Auch wenn die Bandbreitenbelastung sank, war die Netzwerklatenz bis zum Rechenzentrum höher als bei Nutzern in den USA. Indem sie den „weniger furchtbaren“ Dienst häufiger nutzten, trieben sie die Gesamtkennzahlen nach oben.
      Es gibt viele Fälle, in denen man aus einem bestimmten Ausschnitt der Request-Telemetrie falsche Schlüsse zieht, weil man das Gesamtsystem nicht ausreichend modelliert oder die falschen Variablen kontrolliert.
      Am schlimmsten ist die durch Simpsons Paradoxon entstehende zyklische Schuldzuweisung: App-Entwickler machen eine Server-Regression verantwortlich, das Serverteam die App – und manchmal entsteht das nur, weil Server- und App-Releasepläne zufällig viel zu gut zusammenpassen.
    • In der Praxis ist das ziemlich häufig.
      Man sieht es sogar in „klassischen“ Toy-Datasets wie Iris: https://github.com/DataForScience/Causality/blob/master/1.2%...
    • Immer wenn ich ein reales Beispiel für Simpsons Paradoxon höre, bin ich mir nicht sicher, welche Lehre ich daraus ziehen soll.
      Bedeutet es, dass das Marketingteam überoptimiert hat und dadurch die Nachfrage nach Nicht-Nutrition-Produkten zurückging? Dass sowohl die Effizienz einzelner Produkte als auch die Gesamteffizienz besser würden, wenn man Nutrition aus der Produktpalette nimmt? Oder dass diese Kennzahlen unzureichend sind und man statt Quoten eher die absoluten Veränderungen betrachten sollte? Ich werde daraus nicht recht schlau.
    • Ich dachte, es sei ziemlich üblich, gemischte/hierarchische lineare Modelle anzuwenden.
      Ich habe nicht Statistik studiert, aber in Bereichen, in denen biologische Effekte modelliert werden, geht man solche Probleme oft so an.
      Beispiel: https://www.pymc.io/projects/examples/en/latest/generalized_...
    • Es überrascht mich, dass auf den Reporting-Folien die Veränderung des Produktmixes nicht vorkam.
      Allerdings entscheidet sich Marketing eher für Positivität als für Objektivität und neigt dazu, nur die Fakten auszuwählen, die die eigene Arbeit stützen.

  • Das Zitat von Jordan Ellenberg ist wirklich gut.

    Der Mathematiker Jordan Ellenberg hält den Namen Simpson-Paradoxon für unglücklich. „Es gibt keinen Widerspruch; es gibt nur zwei verschiedene Arten, über dieselben Daten nachzudenken.“ Die Lehre daraus sei nicht, „einem zu sagen, welchen Blickwinkel man wählen soll, sondern zu verlangen, dass man Teil und Ganzes gleichzeitig im Kopf behält“.
    Diese Haltung, mehrere Möglichkeiten gleichzeitig im Kopf zu behalten, führte die Epikureer zu Gedanken wie Survival of the Fittest, der Vererbung von Merkmalen von beiden Elternteilen, der Vorstellung, dass Licht aus diskreten Einheiten besteht, die sehr leicht sind und sich sehr schnell bewegen, sowie der Idee, dass für die Existenz eines freien Willens die Quanten, aus denen Materie besteht, unter denselben physikalischen Gesetzen und Bedingungen mehrere mögliche Ergebnisse haben müssten.
    Das war Tausende Jahre, bevor die wissenschaftliche Methode unabhängig zu denselben Ergebnissen kam, und ist insbesondere auch für die hier gemeinte Datenanalyse eine hervorragende Analysemethode.

    • Ich glaube, hier wird die Bedeutung des Wortes „Paradoxon“ etwas missverstanden.
      Es heißt Paradoxon, weil es der ersten Intuition widerspricht und wie ein Widerspruch wirkt, nicht weil es tatsächlich zwingend ein Widerspruch sein muss.
      Im Gegenteil: Die meisten benannten Paradoxien dürften sich als keine echten Widersprüche herausstellen, denn etwas, das falsch aussieht und tatsächlich falsch ist, ist selten interessant genug, um einen eigenen Namen zu bekommen.
    • Die Formulierung, dass für die Existenz eines freien Willens die Quanten, aus denen Materie besteht, unter denselben physikalischen Gesetzen und Bedingungen mehrere mögliche Ergebnisse haben müssten, wirkt seltsam und aus dem Zusammenhang gerissen.
      Es scheint um Quantenmechanik zu gehen, aber das scheint weder Quantenmechanik noch freien Willen präzise zu beschreiben, und die Epikureer können Quantenmechanik unmöglich gekannt haben.
    • Ich verstehe die Verbindung zwischen Simpsons Paradoxon und den Epikureern nicht ganz.
    • Die Liste epikureischer Theorien ist interessant.
      Es wäre schön, gutes Einführungsmaterial zu haben, das sie gemeinsam behandelt und zeigt, wie sie mit Denken in mehreren Möglichkeiten zusammenhängen.
    • Das klingt vielleicht nach Haarspalterei, aber die Formulierung „Licht besteht aus diskreten Einheiten, die sehr leicht sind und sich sehr schnell bewegen“ ist nicht korrekt.
      Erstens hat Licht exakt Masse 0, und nur masselose Teilchen können sich exakt mit Lichtgeschwindigkeit bewegen – und zwar ausschließlich mit dieser Geschwindigkeit.
      Zweitens fehlt die Welle-Teilchen-Dualität des Lichts. Sie ähnelt ebenfalls der Erklärung von Simpsons Paradoxon als „zwei verschiedene Arten, über dieselben Daten nachzudenken“, und ohne sie kann man das Verhalten von Licht oder des beobachteten statistischen Systems nicht vollständig verstehen.

  • Als ich vor langer Zeit Einführungskurse in Statistik unterrichtete, habe ich Hauspreise als gutes Beispiel für Simpsons Paradoxon verwendet
    Die Studierenden sollten in einer Rechenübung echte Daten untersuchen; damals waren das Daten zu Hausverkäufen in den USA aus dem Jahr 2008, heute also etwa 15 Jahre alte Daten
    Damals lag der durchschnittliche Verkaufspreis von Einfamilienhäusern ohne zentrale Klimaanlage höher als der von Häusern mit zentraler Klimaanlage
    Teilt man die Daten jedoch nach Bundesstaaten auf, kehrte sich der Zusammenhang in jedem einzelnen Bundesstaat um: Häuser mit zentraler Klimaanlage waren teurer als solche ohne
    Der Hauptgrund dafür, dass Häuser ohne zentrale Klimaanlage im landesweiten Durchschnitt teurer wirkten, war, dass es unter den teuren Häusern in Kalifornien viele ohne zentrale Klimaanlage gab

    • Dieses Ergebnis liest sich fast wie das Gegenteil der obigen Beispiele oder wie ein Problem, bei dem man je nach Ziel die richtige Statistik auswählen muss
      In diesem Fall ist der landesweite Durchschnitt nicht besonders wichtig; wichtig sind mein Haus, meine Straße, meine Region
      Bei Marketing hingegen ist die zuerst wichtige Kennzahl der gesamte Nettogewinn, und erst danach gräbt man sich in die Faktoren hinein und betrachtet den Geschäftsanteil noch vor den Marketingkosten
      Im Netzwerkbeispiel ist das Ziel nicht Geschwindigkeit oder Latenz, sondern Nutzung/Durchsatz
      Wenn man von Anfang an die falsche Kennzahl wählt, führt das zu falschen Schlussfolgerungen

  • https://en.wikipedia.org/wiki/Berkson%27s_paradox sollte man ebenfalls kennen
    Es gibt viele Wege, wie sich Fehler einschleichen, wenn eine Grundgesamtheit auf verzerrte Weise zustande kommt
    Diese beiden Effekte erklären einen beträchtlichen Teil der dummen Entscheidungen, die aus „datengetriebenen“ Prozessen entstehen
    Es kommt häufig vor, dass Daten das genaue Gegenteil der Wahrheit nahelegen

    • Die beste Lehre aus solchen Phänomenen ist meiner Ansicht nach, dass man die Wahrheit nicht erkennt, indem man einfach Statistiken über ein Dataset laufen lässt
      Wenn man die tatsächlich wirkenden kausalen Faktoren nicht versteht, bleibt das Wissen sehr begrenzt, egal wie viele Daten man hat und auf wie viele Arten man die Statistik aufteilt
      Im UC-Berkeley-Beispiel aus dem Artikel zu Simpsons Paradoxon etwa sagen die Daten kaum etwas Nützliches darüber aus, welche „Voreingenommenheiten“ Menschen anders angehen müssten, um das Zulassungsverfahren fairer zu machen
      Ohne Kontext dazu, ob das Zulassungsverfahren hauptsächlich auf Ebene der Fachbereiche oder auf Ebene der gesamten Universität gesteuert wird, weiß man nicht einmal, wo man nach möglicher Verzerrung suchen sollte
    • Als Empiriker kann man einfach auf https://en.wikipedia.org/wiki/Goodhart%27s_law verweisen
    • Wie das Sprichwort sagt: Lügen, verdammte Lügen und Statistik

  • Die kurze Animation auf der Wikipedia-Seite ist ein hervorragendes Beispiel dafür, dass ein Bild mehr sagt als tausend Worte
    [https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)

  • Lords Paradoxon ist eng mit Simpsons Paradoxon verwandt und visuell etwas leichter zu verstehen: https://repository-images.githubusercontent.com/597130499/46...
    Man kann sich vorstellen, dass die horizontale Achse die Medikamentendosis und die vertikale Achse eine Reaktion wie die Schlafdauer darstellt
    Betrachtet man Lisas Reaktion, ist klar, dass mehr Dosis zu weniger Schlaf führt, und bei Bart ist es genauso
    Führt man jedoch eine lineare Regression über die gesamten Daten aus, ergibt sich wie bei der roten Linie, dass mehr Dosis zu mehr Schlaf führt; das ist eine falsche Schlussfolgerung

  • Bis vor Kurzem wusste ich nicht, dass Simpsons Paradoxon eine Lektion in kausaler Inferenz ist
    Wendet man das richtige Paradigma an, verschwindet das Paradoxon
    Einen besseren Artikel dazu gibt es hier: https://plato.stanford.edu/entries/paradox-simpson/

  • Als ich es zum ersten Mal sah, dachte ich, es ginge um die Folge von The Simpsons, in der Mr. Burns „eine so enorme Vielfalt an Krankheiten hat, dass sie sich gegenseitig aufheben“
    Die Erklärung steht hier: https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
    Die Ähnlichkeit ist erstaunlich, aber angesichts der Genialität der The-Simpsons-Autorenschaft der späten 90er ist es sehr wahrscheinlich, dass es Absicht war

  • Beim Lesen des Beispiels, dass es bei der Zulassung an der UC Berkeley nach einem Gender Bias aussah, bin ich auf Folgendes gestoßen:
    „Frauen tendierten dazu, sich bei stärker umkämpften Fachbereichen mit niedrigeren Zulassungsquoten zu bewerben, und das galt auch unter qualifizierten Bewerbern. Ein Beispiel war der Fachbereich Englisch. Männer hingegen tendierten dazu, sich bei weniger umkämpften Fachbereichen mit höheren Zulassungsquoten zu bewerben, zum Beispiel im Ingenieurwesen.“
    Das hat mich überrascht, weil es meiner Erwartung widersprach.
    Ich hätte gedacht, dass Englisch und die Künste allgemein viel leichter zugänglich sind als STEM; in Australien fühlt es sich jedenfalls so an.
    Mit „reinkommen“ meine ich hier nicht die Industrie, sondern die Zulassung zur Universität.

    • Die offensichtliche Antwort scheint noch niemand gegeben zu haben:
      Diese Daten stammen aus Bewerbungen für Graduate Programs.
      Im Ingenieurwesen gibt es viel mehr Finanzierung, und ein beträchtlicher Teil der Studierenden in Ingenieur-Promotionsprogrammen zahlt die Studiengebühren nicht selbst.
      In den Geisteswissenschaften gibt es sehr wenig Finanzierung, und da die meisten Studierenden nicht viel Geld für einen geisteswissenschaftlichen PhD ausgeben wollen, begrenzen die Fachbereiche die Zulassungszahlen streng.
      Wenn man also ausreichend qualifiziert ist, ist es leichter, in ein Ingenieur-Promotionsprogramm zu kommen.
      Ein Freund, mit dem ich Ingenieurwesen studierte, war desillusioniert und wollte in den Journalismus wechseln; er bewarb sich für einen Wechsel in das Communications-Programm der Universität, aber dort war der Wettbewerb so hart, dass sie weniger als 10 Personen pro Jahr aufnahmen, und er wurde schließlich abgelehnt.
    • In Australien denken wir bei der Wettbewerbsintensität im Bachelorbereich normalerweise an den minimalen ATAR-Rang der im Vorjahr Zugelassenen.
      Man kann Wettbewerbsintensität aber auch als Zulassungsquote betrachten, also Anzahl der Zugelassenen / Anzahl der Bewerber.
      Wenn bei einem sehr beliebten Studienfach der Anteil der Bewerber mit hohem ATAR unverhältnismäßig niedrig ist, können diese beiden Kennzahlen meiner Ansicht nach gleichzeitig zutreffen.
    • Ich war beim Lesen auch überrascht.
      Die Antwort scheint zu sein, dass man hier die Zulassungsquote = Anzahl der Zugelassenen / Anzahl der Bewerber betrachtet, und dass das nicht dasselbe ist wie die allgemeine Schwierigkeit im konzeptionellen Sinn.
      Für ein Mathe-Graduiertenprogramm bewerben sich nur Leute, die in einem Mathematik-Bachelor gute Noten hatten oder in einem anderen STEM-Fach einen beträchtlichen Anteil theoretischer Mathematikkurse belegt haben.
      Die Künste ziehen Bewerber mit breiterem Hintergrund an, und wahrscheinlich wechseln auch viel mehr Leute aus STEM in andere Bereiche als umgekehrt.
      Sich selbst einzureden, dass die eigene Kurzgeschichte großartig ist, ist leicht, auch wenn andere nicht zustimmen; sich aber einzureden, ein mathematischer Beweis sei richtig, obwohl er objektiv falsch ist, ist deutlich schwieriger.
      Deshalb findet auf Bewerberseite weniger Selbstselektion statt, und die Zulassungsquote sinkt.
    • Wettbewerbsintensität ist eine Möglichkeit, Schwierigkeit zu messen, aber es gibt auch andere.
      Ingenieurfächer sind tendenziell qualitativ schwerer zugänglich, Geisteswissenschaften quantitativ.

  • Diese Visualisierung war so effektiv, dass ich den Wiki-Artikel gar nicht lesen musste.
    Schon allein damit habe ich es sofort verstanden.