- In den Sozial- und Lebenswissenschaften besteht zwischen fast allen Variablen ein gewisses Maß an Korrelation
- Dieses Phänomen ist kein bloßer Zufall oder statistischer Fehler, sondern eine reale Tatsache, die aus komplex verflochtenen genetischen und umweltbedingten Faktoren entsteht
- Je größer die Stichprobe wird, desto eher zeigen sich bei den meisten Variablenpaaren signifikante Korrelationen, sodass Forschende eher auf das Korrelationsmuster selbst als auf einzelne Korrelationen achten
- Der „Crud factor“ bedeutet, dass zwischen fast allen Variablenpaaren kleine Korrelationen bestehen, sodass allein durch die Auswahl einer beliebigen Theorie und eines beliebigen Variablenpaars mit hoher Wahrscheinlichkeit signifikante Ergebnisse entstehen
- In einer solchen Situation verliert das traditionelle Signifikanzniveau (0,05) an Aussagekraft, was bei der statistischen Interpretation in den Sozialwissenschaften Vorsicht erfordert
Überblick und Hintergrund
- In Psychologie und Soziologie gilt die Behauptung „Alles ist in gewissem Maß miteinander korreliert“ weithin als akzeptiert
- Bestimmte Merkmale werden durch verschiedene genetische und umweltbedingte Faktoren bestimmt, und auch zwischen diesen Faktoren bestehen wiederum eigene Korrelationen
- Daher weist praktisch fast jede messbare Variable in gewissem Umfang wechselseitige Zusammenhänge auf
„Crud factor“ und statistische Befunde
- Der „Crud factor“ bezeichnet in der Forschung der Sozialwissenschaften (und teils auch der Lebenswissenschaften) das Phänomen, dass selbst zwischen beliebigen Variablenpaaren immer kleine Korrelationen bestehen
- In einem großen Datensatz aus dem Jahr 1966 mit 57.000 Highschool-Schülern aus Minnesota waren bei der Analyse von 105 Kreuztabellen (crosstabulations) zu Variablen wie Familie, Bildung, Freizeitaktivitäten, Berufsplänen und Religion sämtliche Ergebnisse statistisch signifikant
- Bei 96 % der Gesamtheit konnte Zufall mit einer extrem niedrigen Wahrscheinlichkeit auf dem Niveau von p<10⁻⁶ ausgeschlossen werden
- Wird die Zahl der Variablen auf 45 erweitert, sind von insgesamt 990 Kombinationen 92 % statistisch signifikant
- Der Median signifikanter Beziehungen zwischen einer Variablen und allen übrigen Variablen beträgt 41 von 44
Beispiele aus realen Variablen
- Auch bei den Beziehungen von MCAT-Ergebnissen zu Geschwisterzahl, Geburtsreihenfolge, Geschlecht, Berufsplänen, Religionspräferenz usw. wurde durchweg eine hohe statistische Signifikanz festgestellt
- Beispiele: Studentinnen erzielen höhere Werte als Studenten, mit steigender Geschwisterzahl sinken die Werte tendenziell, Erstgeborene/Einzelkinder sind klüger als Jüngste, zwischen Religionsgruppen gibt es deutliche Unterschiede usw.
- Auch innerhalb von fünf repräsentativen protestantischen Konfessionen wurde in den Beziehungen zu verschiedenen Variablen hohe Signifikanz beobachtet
- Beispiele: Einzelkinder sind fast doppelt so wahrscheinlich Presbyterianer wie Baptisten, außerdem gibt es zahlreiche Korrelationen bei Schulpräferenzen und Berufswünschen je nach Konfession
Beispiel mit MMPI-Items
- Von 550 MMPI-Items (Persönlichkeitstest) zeigen 507 (92 %) signifikante Unterschiede nach Geschlecht
- Bei einigen Items lassen sich deutliche Tendenzunterschiede klar erklären, bei anderen sind die Gründe komplex oder nicht erklärbar
- Da solche Ergebnisse in groß angelegten Studien mit sehr großen Stichproben auftreten, handelt es sich nicht um einen statistischen Fehler (Typ-I-Fehler), sondern um ein reales Phänomen
Grenzen sozialwissenschaftlicher Korrelationen und der Theorieprüfung
- Selbst wenn man eine beliebige Theorie und Variablenpaare zufällig kombiniert, kann bei einer durchschnittlichen Korrelation (crud factor) von 0,30 praktisch in etwa jedem dritten Fall ein signifikanter Unterschied gefunden werden
- Solche Phänomene treten viel häufiger auf als das in den Sozialwissenschaften üblicherweise als bedeutsam betrachtete Signifikanzniveau (0,05)
- Da sich Korrelationen auch bei Variablenpaaren leicht zeigen, die Forschende theoretisch nicht vorhergesagt haben, ist es schwierig, allein mit statistischer Signifikanz eine tatsächliche Kausalbeziehung zu stützen
- Komplexe Ursachen (Gene/Umwelt) und der Reichtum an Beobachtungsdaten erzeugen diese vielschichtigen Korrelationen
Praktische Schlussfolgerungen
- Bei der Interpretation sozialwissenschaftlicher Daten und der Prüfung von Theorien sollte man den durch den „crud factor“ bedingten „gewöhnlichen, aber real existierenden Korrelationen“ stets Rechnung tragen
- Statt Signifikanzstatistiken (z. B. p<0.05) blind zu vertrauen, ist ein Ansatz nötig, der sich stärker auf die tatsächliche Kausalität zwischen Variablen und die Interpretation von Mustern konzentriert
- Wie Thorndikes Bonmot sagt: „Alle guten Dinge neigen dazu, gemeinsam aufzutreten“ — in der realen Welt ist zu vieles miteinander verflochten
Noch keine Kommentare.