Der Dunning-Kruger-Effekt ist Autokorrelation

Der Dunning-Kruger-Effekt ist Autokorrelation

• Der Dunning-Kruger-Effekt ist dafür bekannt, die Tendenz inkompetenter Menschen zu beschreiben, ihre eigenen Fähigkeiten zu überschätzen.
• Dieser Effekt wurde 1999 von Psychologen entdeckt und schien in vielen Studien durch Daten bestätigt zu werden.
• Tatsächlich ist dieser Effekt jedoch das Ergebnis eines statistischen Fehlers, der Autokorrelation, und hat nichts mit menschlicher Psychologie zu tun.

Was ist Autokorrelation?

• Autokorrelation bezeichnet das Phänomen, dass eine Variable mit sich selbst korreliert.
• Misst man zum Beispiel die Körpergröße einer Person, dann ist diese Größe perfekt mit sich selbst korreliert.
• Wenn eine Variable auf beiden Seiten einer Gleichung vermischt auftaucht, ist Autokorrelation schwer zu erkennen.

Der Dunning-Kruger-Effekt

• Der Dunning-Kruger-Effekt ist ein Beispiel für Autokorrelation und beruht tatsächlich auf einer Fehlinterpretation des Diagramms.
• Dunning und Kruger testeten Personen, ließen sie ihre Fähigkeiten selbst einschätzen und berichteten anschließend, dass leistungsschwache Personen dazu neigten, ihre Fähigkeiten zu überschätzen.
• Diese Ergebnisse beruhen in Wirklichkeit jedoch auf der Autokorrelation zwischen Testergebnissen und Selbsteinschätzungen.

Zerlegung des Dunning-Kruger-Effekts

• Das Dunning-Kruger-Diagramm gruppiert Personen anhand ihrer Testergebnisse, stellt diese als Perzentile dar und vergleicht sie mit der Selbsteinschätzung.
• Diese Vorgehensweise entspricht im Grunde dem Vergleich der Testergebnisse mit sich selbst und verschleiert damit die Autokorrelation.
• Dass der Dunning-Kruger-Effekt selbst mit Zufallsdaten auftritt, liegt genau an dieser Autokorrelation.

Reproduktion des Dunning-Kruger-Effekts

• Wenn man versucht, den Dunning-Kruger-Effekt anhand realer Daten zu verstehen, zeigen sich andere Ergebnisse als in den ursprünglichen Daten.
• Versucht man, das Experiment zu reproduzieren, wirken die Rohdaten zufällig und zeigen keine Spur des Dunning-Kruger-Effekts.
• Analysiert man die Daten jedoch anders, kann es so aussehen, als trete der Dunning-Kruger-Effekt auf.

Der Zusammenbruch des Dunning-Kruger-Effekts

• Dass Forschende den Dunning-Kruger-Effekt reproduzierten, obwohl sie tatsächlich Zufallszahlen verwendeten, lag an der Autokorrelation.
• Nachdem dieser Fehler entdeckt wurde, wurde klar, dass das Dunning-Kruger-Diagramm in Wirklichkeit auf Autokorrelation basiert.

Das Ausbleiben des Dunning-Kruger-Effekts

• Misst man den Dunning-Kruger-Effekt mit statistisch validen Methoden, zeigt sich, dass der Effekt verschwindet.
• Misst man die Fehler in der Selbsteinschätzung von nach Bildungsniveau gruppierten Personen, bleibt der durchschnittliche Fehler um 0, und es gibt keine Hinweise auf den Dunning-Kruger-Effekt.

Inkompetent und sich dessen nicht bewusst

• Dass Dunning und Kruger einen statistischen Fehler gemacht haben, kann ein Versehen gewesen sein, doch ihr Aufsatz behauptet, inkompetente Menschen würden ihre eigene Inkompetenz nicht erkennen.
• Tatsächlich offenbarten jedoch Dunning und Kruger selbst statistische Inkompetenz, indem sie Autokorrelation mit einem psychologischen Effekt verwechselten.

Meinung von GN⁺

Das Wichtigste an diesem Artikel ist, dass der Dunning-Kruger-Effekt in Wirklichkeit nichts mit menschlicher Psychologie zu tun hat, sondern auf einem statistischen Fehler namens Autokorrelation beruht. Das zeigt eine Falle, in die Forschende bei der Interpretation von Daten geraten können, und veranschaulicht, wie wissenschaftliche Entdeckungen durch fehlerhafte statistische Auslegung missverstanden werden können. Das Verständnis solcher Fehler ist eine wichtige Lehre für die Interpretation und Überprüfung von Forschungsergebnissen und bietet nicht nur Junior-Softwareentwicklern, sondern Forschenden in allen Wissenschaftsbereichen nützliche Einsichten.

[GN⁺]

Hacker-News-Kommentare

• Ein Kommentator räumt ein, dass er Statistik oder Psychologie nicht gut genug versteht, empfindet die D&K-Studie aber als ähnlich zu dem Satz seines Großvaters: „Je mehr man weiß, desto mehr merkt man, wie viel man nicht weiß.“ Er denkt darüber nach, dass viele Menschen dazu neigen zu glauben, sie wüssten mehr, als sie tatsächlich wissen, und dass das vermutlich auch auf ihn selbst und den Autor des Artikels zutreffen könnte.
• Ein anderer Kommentator stimmt der These des Artikels nicht zu und verweist auf einen Beitrag, der die Behauptung widerlegt, das D-K-Diagramm sei bloß das Ergebnis einer einfachen Selbstkorrelation. Es sei vielmehr sehr überraschend anzunehmen, dass Leistung und Leistungsbewertung unabhängig voneinander seien; die D-K-Studie habe gezeigt, dass es eine Korrelation zwischen Leistung und Selbsteinschätzung gebe, nur eben keine so starke wie erwartet. Stattdessen habe sie einen konsistenten Bias gezeigt, und genau das sei das interessante Ergebnis.
• Wie schon in einer früheren Diskussion erwähnt, geht der Autor davon aus, dass Menschen ihre eigenen Fähigkeiten so schlecht einschätzen, dass ihre Selbsteinschätzung einer unbedingten Zufallsvariablen gleiche. Wenn die tatsächliche Fähigkeit hoch ist, ist es wahrscheinlicher, dass die Selbsteinschätzung durch reinen Zufall unter der tatsächlichen Fähigkeit liegt. Diese Kritik wirft die Frage auf, ob Menschen ihre Fähigkeiten wirklich so falsch einschätzen.
• Die Autoren haben zwar eine „X - Y gegen X“-Analyse durchgeführt, aber das ist nicht das größte Problem. Sie haben zwei Messgrößen subtrahiert, die in den Bereich zwischen 0 und 1 transformiert und dort begrenzt wurden. Was passiert an den Extremwerten? Wie stark können Top-Performer ihre Leistung überhaupt überschätzen? Sie liegen bereits fast bei 1 und haben daher kaum Spielraum nach oben. Wenn sie mit derselben Rate und im selben Ausmaß über- und unterschätzen würden, dann würde der Deckeneffekt der transformierten Werte das Diagramm so aussehen lassen, als würden sie sich häufiger unterschätzen.
• Die Diskussion in den Kommentaren zwischen Nicolas Boneel und dem Autor ist interessant, und Nicolas bringt die Zweifel zum Ausdruck, die er beim Lesen des Artikels hatte. Der Kern des DK-Effekts ist, dass Menschen ihre eigenen Fähigkeiten falsch einschätzen; wenn man also annimmt, dass sie ihr Fähigkeitsniveau zufällig raten, lässt sich das Ergebnis natürlich reproduzieren.
• Der vom Autor verwendete Begriff „Selbstkorrelation“ unterscheidet sich von der Bedeutung, in der er in der Statistik üblicherweise verwendet wird. „Selbstkorrelation“ bezeichnet die Korrelation einer Zeitreihe mit einer zeitlich verzögerten Version ihrer selbst; die Verwendung wie im OP kann, wie dort erwähnt, bei Menschen mit Statistikkenntnissen Verwirrung stiften.
• In der vom Autor vorgestellten Welt würde man, wenn die Schätzung der eigenen Punktzahl tatsächlich unabhängig von der realen Punktzahl wäre, sagen können, dass der DK-Effekt tatsächlich existiert. Menschen mit niedrigen Punktzahlen würden ihre Ergebnisse überschätzen, Menschen mit hohen Punktzahlen dagegen eher unterschätzen.
• Es gibt Verwirrung über den Begriff „Bias“. Wenn die Selbsteinschätzung zufällig erfolgt, würden alle High-Performer sich unterschätzen, aber das wäre kein Bias in Richtung Unterschätzung. Das D-K-Diagramm zeigt einen anderen Bias und passt zu der Annahme, dass die meisten Menschen sich selbst für durchschnittlich halten. Dann würden High-Performer den Durchschnitt überschätzen und Low-Performer den Durchschnitt unterschätzen.
• Es wird darauf hingewiesen, dass die Definition von „Selbstkorrelation“ im Artikel von der in Wikipedia abweicht. Die Definition im Artikel hat nichts mit Zeitverzögerung zu tun, und sie im Zusammenhang mit D-K als „Selbstkorrelation“ zu bezeichnen, ist eine unzutreffende Formulierung.
• Wenn ungeschickte und geschickte Personen sich im Durchschnitt gleich selbst einschätzen, dann würden ungeschickte Personen sich überschätzen und geschickte Personen sich unterschätzen. Schon das allein könnte ein wichtiges Ergebnis sein, und es wird darauf hingewiesen, dass tatsächlich eine Korrelation vorliegt.