Der Dunning-Kruger-Effekt ist Autokorrelation

• Das bekannte Muster, dass „unerfahrene Menschen ihre eigenen Fähigkeiten überschätzen“, ist möglicherweise weniger ein stabiles Merkmal der menschlichen Psyche als vielmehr ein statistisches Artefakt, das entsteht, wenn Testergebnisse und Fehler in der Selbsteinschätzung auf derselben Achse vermischt werden
• Entscheidend ist Autokorrelation: Vergleicht man die Differenz y−x zwischen Testergebnis x und Selbsteinschätzung y erneut mit x, steht x auf beiden Seiten der Gleichung, sodass selbst bei Zufallsdaten dieselbe Form entsteht
• Die Grafik von Dunning und Kruger aus dem Jahr 1999 teilte die Teilnehmenden nach Testergebnissen in Quartile ein und verglich die Perzentil-Durchschnitte der tatsächlichen Ergebnisse und der wahrgenommenen Fähigkeit, wodurch die Differenz zwischen den beiden Linien wie ein psychologischer Effekt erschien
• Auch zufällig erzeugte „Testergebnisse“ und „Selbsteinschätzungen“ können bei derselben Verarbeitung eine Dunning-Kruger-artige Kurve erzeugen, in der Leistungsschwache überheblich und Leistungsstarke bescheiden wirken
• Die Kritiken von Nuhfer et al. aus den Jahren 2016 und 2017 sowie die Kritik von Gignac und Zajenkowski aus dem Jahr 2020 wiesen auf dasselbe Problem hin, doch die drei kritischen Arbeiten kommen bei Google Scholar zusammen auf 88 Zitationen – weit weniger als die 7.893 Zitationen des Originalartikels

---

Den Dunning-Kruger-Effekt statistisch neu betrachtet

• Der Dunning-Kruger-Effekt wurde durch die Studie von Justin Kruger und David Dunning aus dem Jahr 1999 bekannt und bezeichnet die Tendenz von Menschen mit geringer Fähigkeit, ihre eigenen Fähigkeiten zu überschätzen
• Der Schwerpunkt dieser Kritik liegt darauf, dass der Effekt weniger ein psychologisches Phänomen ist, sondern wegen Autokorrelation (autocorrelation) wiederholt in den Daten auftaucht
• Autokorrelation ist eine Situation, in der eine Variable mit sich selbst korreliert wird
  • In reiner Form ist das ein offensichtlicher Zirkel wie „5 = 5“
  • Wenn dieselbe Variable jedoch auf beiden Seiten einer Gleichung auftaucht, ist es nicht so leicht zu erkennen
• Wenn es zum Beispiel zwei voneinander unabhängige Variablen x und y gibt, man z = x + y bildet und z mit x korreliert, steht x auf beiden Seiten, sodass es so aussieht, als entstehe eine Korrelation

Die Struktur der ursprünglichen Dunning-Kruger-Grafik

• Dunning und Kruger ließen Teilnehmende einen Fähigkeitstest absolvieren und anschließend ihre eigene Fähigkeit einschätzen
• Die horizontale Achse der Grafik ist eine kategoriale Achse, die Menschen anhand ihrer Testergebnisse in vier Quartilsgruppen (quartile) einteilt
  • Oberflächlich betrachtet ist es eine kategoriale Achse, tatsächlich stellt sie jedoch die Rangfolge der Testergebnisse x dar
• Die vertikale Achse zeigt die tatsächlichen Ergebnisse und die wahrgenommene Fähigkeit als Perzentile (percentile)
• Die graue Linie zeigt das durchschnittliche Perzentil der tatsächlichen Testergebnisse in jeder Quartilsgruppe
  • Im Grunde ist das, als würde man x gegen x plotten
• Die schwarze Linie zeigt das durchschnittliche Perzentil der Selbsteinschätzung in jeder Gruppe
  • Strukturell ist das die Selbsteinschätzung y gegen das Testergebnis x geplottet

Die Autokorrelation, die durch die Differenz der beiden Linien entsteht

• Der auffällige Teil der Dunning-Kruger-Grafik ist die Differenz zwischen „wahrgenommener Fähigkeit“ und „tatsächlichem Testergebnis“
• Mathematisch ist diese Differenz y−x
  • y ist die Selbsteinschätzung
  • x ist das tatsächliche Testergebnis
• Interpretiert man diese Differenz relativ zur horizontalen Achse x, ergibt sich die Beziehung (y−x) ~ x
• Da x dabei auf beiden Seiten der Gleichung steht, entsteht Autokorrelation, bei der x mit einer negativen Form seiner selbst verglichen wird
• Daher kann selbst dann ein Muster auftreten, das wie der Dunning-Kruger-Effekt aussieht, wenn man für x und y zufällige Zahlen ohne jede psychologische Bedeutung einsetzt

Auch Zufallsdaten erzeugen dasselbe Muster

• In einer hypothetischen Replikation nimmt man an, 1.000 Personen rekrutiert und von ihnen Testergebnisse und Selbsteinschätzungen erhalten zu haben
• Zeichnet man die individuellen Testergebnisse und Selbsteinschätzungen unverändert als Streudiagramm, wirkt alles völlig zufällig, ohne Spur eines Dunning-Kruger-Effekts
• Anschließend wird der Fehler der Selbsteinschätzung berechnet
  • Fehler der Selbsteinschätzung = Selbsteinschätzung − Testergebnis
• Vergleicht man diesen Fehler mit dem Testergebnis, zeigt sich eine starke Beziehung
  • Leistungsschwache scheinen sich stark zu überschätzen
  • Leistungsstarke scheinen übermäßig bescheiden zu sein
• Setzt man dieselben Daten in eine Dunning-Kruger-artige Grafik ein, lässt sich sogar eine Kurve erzeugen, die nach einem stärkeren Effekt aussieht als das ursprüngliche Ergebnis
• Wenn diese Daten jedoch keine echten Experimentwerte, sondern Zufallszahlen sind, ist das beobachtete Muster kein psychologischer Effekt, sondern ein Produkt der statistischen Struktur

Alternative Überprüfung durch Nuhfer et al.

• Um zwei Datensätze statistisch gültig zu korrelieren, müssen die beiden Messwerte unabhängig gemessen werden
• Die Dunning-Kruger-Grafik verletzt dieses Prinzip, indem sie Testergebnisse auf beiden Achsen einmischt
• Edward Nuhfer und seine Kollegen untersuchten, wie sich der Effekt verändert, wenn „Fähigkeit“ auf eine Weise gemessen wird, die unabhängig von Testleistung oder Selbsteinschätzung ist
• In Nuhfers Analyse liegt auf der horizontalen Achse das Bildungsniveau, auf der vertikalen Achse der Fehler der Selbsteinschätzung
  • Jeder Punkt steht für eine Person
  • Der durchschnittliche Fehler der Selbsteinschätzung wird als grüne Blase dargestellt
• Wenn der Dunning-Kruger-Effekt existiert, müsste mit steigendem Bildungsniveau ein Abwärtstrend sichtbar sein, bei dem der Fehler der Selbsteinschätzung abnimmt
• In den Ergebnissen ist ein solcher Trend nicht zu sehen; der durchschnittliche Einschätzungsfehler bleibt nahezu bei 0
• Allerdings nimmt die Varianz des Selbsteinschätzungsfehlers mit höherem Bildungsniveau tendenziell ab
  • Professoren schätzen ihre eigenen Fähigkeiten tendenziell genauer ein als Studienanfänger
  • Das ist ein anderes Phänomen als der Dunning-Kruger-Effekt, der von einer durchschnittlichen Überschätzungstendenz spricht

Zusätzliche Verzerrung durch Perzentil-Transformation

• Die Perzentil-Transformation erzeugt neben der Autokorrelation eine weitere Verzerrung
• Perzentile haben einen Boden bei 0 und eine Decke bei 100
  • Wer nahe am Boden liegt, kann den eigenen Rang nur schwer noch niedriger unterschätzen
  • Wer nahe an der Decke liegt, kann den eigenen Rang nur schwer noch höher überschätzen
• Durch diese Struktur wirken Leistungsschwache leicht so, als seien sie überheblich, und Leistungsstarke so, als seien sie bescheiden
• Außerdem liefert die Linie, die Testergebnis-Perzentile mit Testergebnis-Quartilen vergleicht, kaum zusätzliche Informationen über die tatsächlichen Testergebnisse, weil jedes Quartil definitionsgemäß 25 Perzentile umfasst

Warum sich die Kritik nicht weit verbreitet hat

• Der Originalartikel von Dunning und Kruger wurde 1999 veröffentlicht
• Dieser Analysefehler wurde offenbar erst 2016 hinreichend verstanden
• Die kritischen Arbeiten von Edward Nuhfer und Kollegen erschienen 2016 und 2017, und auch Gilles Gignac und Marcin Zajenkowski veröffentlichten 2020 eine ähnliche Kritik
  • Nuhfer et al. 2016
  • Nuhfer et al. 2017
  • Gignac and Zajenkowski 2020
• Laut Google Scholar kommen die drei kritischen Arbeiten zusammen auf 88 Zitationen, während der Artikel von Dunning und Kruger aus dem Jahr 1999 7.893-mal zitiert wurde
• Widerlegungen fehlerhafter Analysen werden leicht weniger bekannt als die Originalarbeit und erscheinen häufig an weniger sichtbaren Orten als das Journal, in dem der ursprüngliche Artikel veröffentlicht wurde
• Die berühmte Dunning-Kruger-Grafik ist weniger ein Beispiel für „Menschen, die inkompetent sind und es nicht wissen“, sondern eher ein Fall, der einen Analysefehler zeigt, bei dem Autokorrelation als psychologischer Effekt interpretiert wurde

[GN⁺]

Hacker-News-Kommentare

• Diese Interpretation ist schwer nachvollziehbar; diese Widerlegung erklärt es besser: https://andersource.dev/2022/04/19/dk-autocorrelation.html
  Der Kern ist, dass diese Autokorrelations-Interpretation zunächst zeigt: „Wenn Leistung und Leistungsbewertung zufällig und unabhängig sind, entsteht eine Form wie der D-K-Graph“, und daraus dann folgert, der Effekt sei lediglich Autokorrelation.
  Tatsächlich wäre es aber seltsamer zu erwarten, dass Leistung und Selbsteinschätzung unabhängig sind. Man würde erwarten, dass Menschen ihre eigenen Fähigkeiten bis zu einem gewissen Grad korrekt einschätzen können; auch D-K zeigte eine Korrelation zwischen beiden, nur war sie nicht so stark wie erwartet. Das interessante Ergebnis ist eine konsistente Verzerrung; über Hypothesen zu deren Ursache kann man streiten, aber man sollte nicht ignorieren, dass man nicht erwarten würde, dass die Variablen unabhängig sind.

  • Wenn man die Stichprobengröße als statistisch ausreichend betrachtet, zeigt die Originalarbeit eindeutig zwei Dinge:
    Im Durchschnitt schätzten Menschen ihre eigene Fähigkeit nicht beim 50. Perzentil einer Zufallssimulation ein, sondern bei etwa dem 65. Perzentil bezogen auf die tatsächlichen Ergebnisse; und die Selbsteinschätzung steigt zwar mit der tatsächlichen Fähigkeit, aber überraschend wenig. Die „Autokorrelations“-Diskussion des Autors ist im Kern ein Ablenkungsmanöver, und die zufällig erzeugten Ergebnisse passen nicht zu den Ergebnissen der Originalarbeit. Wie robust die Reproduzierbarkeit ist, ist natürlich eine andere Frage; aber die Visualisierungsweise selbst ist nicht problematisch, auch wenn Streuungsbalken wohl besser gewesen wären.
  • Der Unterschied zwischen dem D-K-Effekt in seiner ursprünglichen Form und dem D-K-Effekt in der Popkultur scheint der größte D-K-Fall in Echtzeit zu sein.
    Der interessante Teil des ursprünglichen Ergebnisses ist, dass die Korrelation zwischen tatsächlicher und wahrgenommener Leistung niedriger ist, als man intuitiv erwarten würde. Doch während sich der D-K-Effekt in der Popkultur verbreitet hat, hat sich auch die kollektive Intuition verändert; wenn man heute einer beliebigen Person im Internet den ursprünglichen D-K-Effekt erklärt, könnte sie es interessant finden, dass „die Korrelation größer ist als gedacht“. Denn diese Person hätte vermutlich angenommen, dass die Korrelation negativ ist.
  • Genau. Zusammengefasst: Wenn die Daten wirklich zufällig und unkorreliert wären, müsste die Linie in der Mitte flach verlaufen, sodass sowohl das 1. Quartil als auch das 4. Quartil bei 50 % liegen müssten.
    Wenn die Daten zu 100 % korrekt und präzise wären [1], wäre die Linie diagonal, und das 1. Quartil läge etwa bei 12,5 %, das 4. Quartil bei etwa 87,5 %. Wenn die Daten korrekt, aber nicht präzise wären, würde sich diese Diagonale mit zunehmender Zufälligkeit in eine flache Linie in der Mitte verwandeln und bei 50 % kreuzen. Was man tatsächlich sieht, ist jedoch weder das eine noch das andere: Das 1. Quartil liegt ungefähr bei 60 %, das 4. Quartil bei 75 %. Das zeigt, dass es eine gewisse Fähigkeit zur Selbsteinschätzung gibt, sie aber verzerrt ist. Das obere Quartil kann wegen eines Deckeneffekts wie eine Unterschätzung aussehen, aber die Überschätzung im unteren Quartil lässt sich schwer vermeiden.
    [1] https://en.wikipedia.org/wiki/Accuracy_and_precision
  • Der Autor setzt die Schlussfolgerung voraus und entscheidet dann, wie die Daten zu analysieren sind.
    Wenn man einerseits sagt, es sei „viel vernünftiger anzunehmen, dass Menschen ihre eigene Leistung einschätzen können“, andererseits aber auch „ich widerspreche nicht der Behauptung, dass Menschen mit höherer Kompetenz ihre eigene Leistung besser einschätzen“, ist es schwer, glaubwürdig zu bleiben. Man behandelt die zentrale Variable erst so, als sei sie fix, und räumt dann innerhalb desselben Datensatzes ein, dass sie sich verändert; es fehlt also an Selbstkonsistenz.
  • In der ursprünglichen D-K-Arbeit [1] sind mir zwei interessante Punkte aufgefallen, die diesen plausiblen Einwand ins Wanken bringen.
    Der glatte lineare Graph, den alle mit D-K verbinden, ist nur einer von vier; die anderen drei sind deutlich unordentlicher, und die Arbeit behandelt auch Fälle mit schwacher oder gar keiner Korrelation. Außerdem maß dieser perfekt wirkende Graph den Sinn für Humor. Bei Humor ist es sehr wahrscheinlich, dass zwischen Selbsteinschätzung und Expertenbewertung – hier durch professionelle Comedians – nahezu reines Rauschen entsteht. Wenn im Grunde alle ihre eigene Leistung zufällig raten, entsteht immer eine starke D-K-Form, bei der die oberen unterschätzen und die unteren überschätzen. Das Experiment, das Intelligenz am einfachsten und direktesten messen sollte, war Experiment 2 auf Basis von LSAT-Logikaufgaben; der Ergebnisgraph ist sehr zackig. Die Arbeit schreibt auch: „Die Teilnehmer überschätzten die Zahl der richtig beantworteten Aufgaben nicht, und die Wahrnehmung der Fähigkeit stand zwar in positiver Beziehung zur tatsächlichen Fähigkeit, war aber nicht signifikant.“ Das sieht nach einem weiteren Zimbardo aus.
    [1] - https://sci-hub.se/10.1037/0022-3514.77.6.1121

• Die Autoren haben zwar „X - Y gegen X“ gemacht, aber das größere Problem ist, dass sie zwei Messwerte subtrahiert haben, die auf 0 bis 1 transformiert wurden und begrenzt sind.
  Wie stark kann ein Top-Performer am Rand der Verteilung seine eigene Leistung überschätzen? Sie liegt bereits fast bei 1, also kaum. Selbst wenn Über- und Unterschätzungen bezogen auf die Rohwerte gleich häufig und gleich groß auftreten, lässt der Deckeneffekt der transformierten Werte den Graphen so aussehen, als würden Top-Performer sich häufiger unterschätzen. Bei den schwächsten Performern entsteht das umgekehrte Problem. Siehe Abbildungen 7, 8 und 9 in „Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency.“ Numeracy 9, Iss. 1 (2016)

  • Genau das dachte ich auch. Selbst wenn es nicht nur Regression zum Mittelwert ist, scheint es schwierig, ein anderes Ergebnis als den D-K-Effekt zu bekommen.
    Das unterste Quartil kann nicht sagen, es liege unterhalb des untersten Quartils, daher wird jeder Fehler als „Selbstüberschätzung“ erfasst. Das oberste Quartil kann nicht sagen, es liege über dem obersten Quartil, daher wird jeder Fehler als „Selbstunterschätzung“ erfasst.
  • Wenn Menschen auf allen Kompetenzniveaus ihre Fähigkeiten ziemlich gut messen könnten, müssten die beiden Kurven weitgehend übereinanderliegen; tatsächlich sieht man aber den gezeigten Graphen.
    Dass zufälliges Rauschen die Mittelwertkurve auf der Y-Achse erzeugen kann, heißt nicht, dass es keinen D-K-Effekt gibt. Es heißt nur, dass die durchschnittliche Selbsteinschätzung beim D-K einem mittleren Zufallsdurchschnitt ähnelt, und wenn man darüber nachdenkt, ergibt das Sinn. Die meisten werden sich unabhängig von ihrer tatsächlichen Fähigkeit wahrscheinlich als durchschnittlich einschätzen, daher wirkt der D-K-Effekt weiterhin plausibel.
  • Man kann das bis zu einem gewissen Grad behandeln, indem man die Extrembereiche abschneidet. Auch in den Graphen des verlinkten Artikels sieht man denselben Trend schon, wenn man nur die mittleren Quartile betrachtet.
  • Lognormalität kann für die Methodik der Sozialwissenschaften fatal sein.
    Wenn man einen zugrunde liegenden Mechanismus annimmt, könnten die Rohfähigkeiten der Testteilnehmer lognormalverteilt sein. Denn die Teilnahme an einem Test bringt implizit eine IQ-Untergrenze mit sich, und in Hochleistungsbereichen wie Sport gibt es ebenfalls lange Verteilungsschwänze. Der Test versucht, Leistung zu messen, reduziert sie aber auf eine Normalverteilung oder vier Kategorien; die Menschen schätzen ihre Fähigkeit anhand ihrer Aufgaben- und Bewertungserfahrung ein, was wiederum auf eine Normalverteilung oder eine konstante Verteilung zurückgeführt wird. Dimensionsreduktion findet also implizit und explizit an drei Stellen statt, und ich beneide die Forschenden nicht, die diese Zwiebel schälen müssen. Trotzdem verbessert es das Verständnis, wenn solche Probleme in zugänglich gestalteten Experimenten herausgearbeitet werden.
  • Auch die Begrenztheit der Daten ist hier ein zentrales Argument: https://www.frontiersin.org/articles/10.3389/fpsyg.2022.8401...

• Die Diskussion zwischen Nicolas Boneel und dem Autor in den Kommentaren des Artikels ist interessant, und Nicolas formuliert gut die Zweifel, die mir beim Lesen kamen.
  Der Kern des D-K-Effekts ist, dass Menschen schlecht darin sind, ihre eigene Fähigkeit einzuschätzen; wenn man also annimmt, dass sie ihr Fähigkeitsniveau zufällig schätzen, wird das Ergebnis natürlich reproduziert. Das richtige Modell für eine Welt ohne D-K müsste ungefähr geschätzte Testpunktzahl = tatsächliche Testpunktzahl + Rauschen sein, und der dann zu erwartende Schein-D-K-Effekt sollte nur aus den Begrenzungen durch Minimal- und Maximalpunktzahl entstehen. Dieser Effekt dürfte proportional zur Varianz des Rauschens sein, aber die Varianz in den zusätzlichen Datensätzen wirkt zu niedrig, um den beobachteten Effekt ausreichend zu erklären. Außerdem müssten in diesem Modell im Durchschnitt alle richtig erkennen, in welcher Hälfte der Verteilung sie liegen; selbst das unterste Quartil scheint seine Fähigkeit jedoch auf das 50. Perzentil oder höher geschätzt zu haben.

  • Das richtige Modell ist vermutlich geschätzte Testpunktzahl + Schätzrauschen = tatsächliche Testpunktzahl + Testrauschen.
    In Tests gibt es zufällige Elemente wie Raten, die eine Person nicht abschätzen kann.
    https://en.m.wikipedia.org/wiki/Regression_dilution
    https://en.m.wikipedia.org/wiki/Errors-in-variables_models
  • Nur weil die Daten zufällig aussehen, ist man noch nicht bei der Ursache angekommen.
    Diese Charts könnten insgesamt auf niedrige Kompetenz hindeuten, oder auf eine subtilere Struktur, bei der unten die Fähigkeit zur Einschätzung fehlt, sie in der Mitte besser wird und oben hohe Kompetenz mit erlernter Bescheidenheit zusammenkommt.
  • Es hängt vom angewendeten Rauschen ab. Wenn alle ein Rauschen von -10 % bis +100 % erhalten, bekommt man ungefähr einen Graphen wie bei Dunning-Kruger.
    Daher gibt es keinen Grund zu glauben, dass die Besten ihre Fähigkeit besser einschätzen; es gibt lediglich die Einschränkung, dass sie ihren Rang nicht höher als den höchsten einschätzen können.

• Vorsicht bei nicht standardmäßiger Terminologie: Der Autor verwendet Autokorrelation auf eine Weise, die ich noch nie gesehen habe.
  Üblicherweise bezeichnet Autokorrelation die Korrelation einer Zeitreihe mit sich selbst, nachdem sie um eine bestimmte Zeit verschoben wurde. Die Verwendung wie im Original verwirrt Menschen mit Statistikkenntnissen, und umgekehrt ebenso.

  • Wohlwollend gesagt ist das nicht standardmäßige Terminologie; genauer gesagt beschädigt es den Kern von Autokorrelation, weil der zeitliche Zusammenhang nicht klar benannt wird.
    Der Artikel sagt: „Autokorrelation tritt auf, wenn man eine Variable mit sich selbst korreliert“, aber die Standarddefinition liegt näher bei „dem Grad der Korrelation derselben Variablen zwischen zwei aufeinanderfolgenden Zeitabschnitten“; es ist ein Konzept, das misst, wie verzögerte Werte in einer Zeitreihe mit den ursprünglichen Werten zusammenhängen, und wird auch serielle Korrelation genannt.
  • Am häufigsten begegnet man Autokorrelation zwar bei Zeitreihen, aber auch in diesem Kontext ist die Aussage des Autors nicht völlig falsch.
    Zeitreihen-Autokorrelation setzt dieselbe Zeitreihenfunktion zu unterschiedlichen Zeitpunkten in Beziehung. Im einfachsten Fall kann man ein Array X, bei dem X[i] = f(t[i]) ist, gegen X plotten und vergleichen; weitergehend kann man es auch als g(X) gegen X, etwa mit einer Transformation wie einem gleitenden Mittelwert, komplexer machen.
  • Ich frage mich, welcher Begriff geeignet wäre, um das zu beschreiben, worauf der Autor hinauswill.

• Wenn man sich die vom Autor beschriebene hypothetische Welt vorstellt, in der die Einschätzungen der eigenen Punktzahl unabhängig von den tatsächlichen Punktzahlen sind, könnte man dann nicht sagen, dass in dieser Welt der D-K-Effekt real ist?
  Der Kern dieses Effekts ist, dass Menschen mit niedrigen Punktzahlen dazu neigen, ihre eigene Punktzahl zu überschätzen, während Menschen mit hohen Punktzahlen dazu neigen, sie zu unterschätzen. Dafür kann es viele plausible Gründe geben, einschließlich des Falls, dass niemand ein gutes Gefühl für die eigene Punktzahl hat, wie im Spielzeugbeispiel des Autors; das Phänomen selbst scheint aber zu stimmen.

  • Genau das ist der Punkt
    Das Beispiel des Autors mit zufälligen Punkten ist schlecht, weil es vernünftig ist zu erwarten, dass Menschen sich anders verhalten als gleichverteilte Zufallspunkte. Wer in etwas gut ist, wird einschätzen, dass er gut darin ist, und wer schlecht ist, wird einschätzen, dass er schlecht darin ist. Unsere Kinder mögen Mathe und erwarten, in Mathetests gut abzuschneiden, und normalerweise schneiden sie tatsächlich gut ab. Unter ihren Mitschülern gibt es Kinder, die laut sagen, dass sie Mathe hassen, erwarten, schlecht abzuschneiden, und tatsächlich bis zu einem gewissen Grad schlecht abschneiden. Ich selbst kann nicht kochen, also zweifle ich nicht daran, dass ich bei einem Kochwettbewerb niedrige Jurybewertungen bekäme. Die erwarteten Daten sind korreliert. Wenn die Studie aber tatsächlich zeigt, dass diese Korrelation nahezu nicht vorhanden ist und viele, die erwarteten, gut abzuschneiden, schlecht abschneiden, während viele, die erwarteten, schlecht abzuschneiden, gut abschneiden, also wenn es wie gleichverteilte Zufallsdaten aussieht, dann wäre das ein überraschendes Ergebnis und vielleicht der D-K-Effekt. Ich bin kein Statistiker, vielleicht übersehe ich etwas.
  • Selbst wenn es eine statistische Illusion ist, bleibt die Korrelation selbst wahr, aber dann gibt es für Psychologen keinen Grund mehr, sie zu untersuchen
    Man könnte einen Würfel werfen, dann einen zweiten Würfel werfen und untersuchen, warum der zweite Würfel zusammen mit dem ersten zu 7 tendiert. Bei Würfeln würde man das als törichte Idee abtun, aber wenn es um Menschen geht, lässt man sich leicht fälschlich zu psychologischen Theorien über sie verleiten.

• Die Definition von Autokorrelation im Artikel lautet: „Sie tritt auf, wenn man eine Variable mit sich selbst korreliert“, während die Wikipedia-Definition lautet: „In diskreter Zeit auch serielle Korrelation genannt; die Korrelation eines Signals mit einer verzögerten Kopie seiner selbst als Funktion der Verzögerung.“
  Natürlich ist eine Verzögerung von 0 ein trivialer Fall einer Zeitverzögerung, aber die Definition im Artikel ist bestenfalls ungenau. D-K hat nichts mit Zeitverzögerung zu tun, und das Autokorrelation zu nennen wirkt wie ein Wortspiel, das nicht so recht funktioniert.

  • Fairerweise gibt es in der Geostatistik auch räumliche Autokorrelation, der Begriff Autokorrelation bedeutet also nicht zwingend, dass die Dimension der Veränderung Zeit ist.

• Hier scheint Verwirrung darüber zu bestehen, was „Bias“ bedeutet
  Wenn Menschen ihre Selbsteinschätzung zufällig abgeben, würden alle Top-Performer sich selbst unterschätzen, aber weil die Wahl selbst zufällig ist, ist das kein Bias in Richtung Unterschätzung. Das D-K-Diagramm zeigt jedoch einen anderen Bias, und der passt grob zu den Erwartungen. Menschen ohne Wissen nehmen an, sie hätten durchschnittliche Fähigkeiten, und blähen dadurch ihre Position auf; sehr fähige Menschen denken, andere wüssten ebenso viel wie sie selbst, und wollen sich deshalb nicht als die Besten einstufen. Die gemeinsame Annahme beider Gruppen ist, dass man selbst normal ist und andere ähnlich sind. Die meisten dürften sich für durchschnittlich halten, und man könnte das leicht überprüfen, indem man sie einschätzen lässt, wie gut eine durchschnittliche Person in einem Test abschneiden würde, und das dann mit ihrer persönlichen Punktzahl vergleicht. Mit ziemlicher Sicherheit würden Top-Performer den Durchschnitt überschätzen und Low-Performer ihn unterschätzen.

• Wenn es eine lineare Beziehung zwischen Testergebnis X, also Fähigkeit, und Selbsteinschätzung Y, also Selbstwahrnehmung, gibt, wird die Zufallsvariable als Y ~ aX + b + N modelliert
  Dabei ist N statistisch unabhängiges Rauschen mit Mittelwert 0. Dann ist die Kovarianz Cov(Y-X, X) = (a-1) Var[X], und um den „D-K-Effekt“ zu erhalten, muss (a-1) < 0, also a < 1, gelten. Wie im Blogartikel gilt das für a=0 definitiv, und im Idealfall a=1, b=0 gilt es gerade nicht. Bei a > 1 entstünde ein völlig neuer Effekt über arrogante Experten. Aus dieser Autokorrelations-Perspektive zählt daher nur, wie schnell die Selbsteinschätzung einer Person mit zunehmender Fähigkeit steigt. Solange der Anstieg unterschätzt wird, entsteht der D-K-Effekt. Diese Analyse ignoriert jedoch b. Bei a=0.8, b=0 passt es zwar zur Autokorrelations-Perspektive, aber alle unterschätzen ihre eigenen Fähigkeiten, sodass der sogenannte D-K-Effekt nicht auftritt. Letztlich ist b wichtig, also der a-priori-Fähigkeitswert, den alle bei sich selbst annehmen. Was das D-K-Paper zeigt, ist b > .5, und das passt zum Geist der populären Interpretation. Man sollte nicht annehmen, dass Menschen mindestens überdurchschnittliche Fähigkeiten haben. Gleichzeitig ist b nicht absurd viel höher als .5, sodass ich den „Ungeübten und Ahnungslosen“ auch ein gewisses Maß an Spielraum zugestehen möchte. Den Referenzpunkt auf den Durchschnitt zu setzen, ist in der Praxis unmöglich, fühlt sich intuitiv aber plausibel an.

• Das ist keine Autokorrelation. Der Originaltext setzt lineare Abhängigkeit mit Autokorrelation gleich, aber so verwendet man den Begriff nicht
  Autokorrelation bezeichnet den Fall, dass ein stochastischer Prozess mit sich selbst bei einer Zeitverzögerung korreliert.

• Es scheint, dass viele den Originalartikel nicht bis zum Ende gelesen haben. Der Kern kommt bei Verweis auf dieses Paper: https://digitalcommons.usf.edu/cgi/viewcontent.cgi?article=1...
  Abbildung 2 dieses Papers zeigt die Ergebnisse eines Experiments, in dem Fähigkeit und Wahrnehmung der eigenen Fähigkeit unabhängig voneinander gemessen wurden. Das Design soll das statistische Artefakt der Autokorrelation entfernen. Dabei zeigt sich im Durchschnitt, dass Fähigkeit nicht mit der Genauigkeit der Selbsteinschätzung korreliert, und es gibt überhaupt keinen D-K-Effekt. Was tatsächlich erscheint, ist nur, dass kompetentere Personen ihre eigene Fähigkeit konsistenter einschätzen, also eine geringere Varianz der Bewertungen haben; die durchschnittliche Genauigkeit bleibt dennoch 0. Daher sind tatsächliche Fähigkeit und wahrgenommene Fähigkeit im Durchschnitt nicht korreliert, und genau das sagt auch der numerische Nachweis mit Zufallszahlen aus. Deshalb läuft es in vielen Fällen auf Ockhams Rasiermesser hinaus.