Marshmallow-Test sagt Erwachsenenfunktionen nur unzuverlässig voraus

Verzögerte Bedürfnisbefriedigung und Ergebnisse im Erwachsenenalter: Der Marshmallow-Test sagt Funktionen im Erwachsenenalter nicht zuverlässig voraus

• Studienüberblick
  • Diese Studie erweitert den Analyseansatz von Watts et al. (2018), um die langfristige prädiktive Validität verzögerter Bedürfnisbefriedigung zu untersuchen.
  • Die Teilnehmenden (n = 702; 83 % weiß, 46 % männlich) absolvierten den Marshmallow-Test mit 54 Monaten (1995–1996) und füllten mit 26 Jahren (2017–2018) eine Befragung aus.
  • Mit vorregistrierten Analysen wurde festgestellt, dass die Leistung im Marshmallow-Test erwachsene Erfolge, Gesundheit oder Verhalten nicht stark vorhersagt.
  • Es wurden geringe Korrelationen mit dem Bildungsniveau (r = .17) und dem Body-Mass-Index (r = - .17) gefunden, jedoch waren fast alle regressionsadjustierten Koeffizienten nicht signifikant.
  • Es wurden keine klaren Moderationsmuster zwischen verzögerter Bedürfnisbefriedigung und sozioökonomischem Status oder Geschlecht gefunden.
  • Die Ergebnisse zeigen, dass die Leistung im Marshmallow-Test Ergebnisse im Erwachsenenalter nicht zuverlässig vorhersagt.
  • Diskutiert werden die prädiktive und konstruktbezogene Validität der Fähigkeit zur verzögerten Bedürfnisbefriedigung.

Erklärung zur Datenverfügbarkeit

• Diese Studie wurde im Open Science Framework (osf.io/67XFN) vorregistriert.
• Da die in der aktuellen Studie verwendeten Daten (Adult Wave SECCYD) nicht öffentlich zugänglich sind, wird die Analysesyntax bereitgestellt.
• Korrelationsmatrizen und deskriptive Statistiken der Hauptvariablen werden bereitgestellt.
• Frühere Erhebungswellen der SECCYD-Stichprobe sind über das Inter-University Consortium for Political and Social Research (icpsr.umich.edu/web/ICPSR/series/233) verfügbar.

Zusammenfassung von GN⁺

• Diese Studie zeigt, dass der Marshmallow-Test zur Vorhersage von Erfolg, Gesundheit und Verhalten im Erwachsenenalter nicht verlässlich ist.
• Es gibt geringe Korrelationen mit Bildungsniveau und Body-Mass-Index, aber die meisten regressionsadjustierten Koeffizienten sind nicht signifikant.
• Enthalten ist eine Diskussion über die prädiktive und konstruktbezogene Validität der Fähigkeit zur verzögerten Bedürfnisbefriedigung.
• Die Studie ist nützlich, um bisherige Annahmen über die langfristige Gültigkeit von Tests zur verzögerten Bedürfnisbefriedigung neu zu bewerten.
• Als weitere Studie mit ähnlicher Fragestellung wird die Arbeit von Moffitt et al. (2011) empfohlen.

[GN⁺]

Meinungen auf Hacker News

• Die ursprünglichen Ergebnisse wurden in einer größeren Studie von 2018 infrage gestellt. Die ursprüngliche Studie umfasste 90 Schüler, die Folgestudie 900; sie fand zwar dieselbe Korrelation, diese verschwand aber größtenteils, nachdem für das Haushaltseinkommen kontrolliert wurde.
  Die naheliegende Schlussfolgerung ist, dass das Haushaltseinkommen ein Prädiktor sowohl für die Fähigkeit zum Belohnungsaufschub als auch für schulische Leistungen ist. Wer in einer armen Familie aufwächst, hat weniger stabilen und weniger vorhersehbaren Zugang zu materiellen Ressourcen; deshalb kann es rational sein, eine unmittelbare Gelegenheit zu nutzen statt auf eine größere spätere Belohnung zu warten, und auch schulische Unterstützung kann fehlen. Die neue Studie geht noch weiter und sieht schon die Korrelation selbst als schwach an.
  [0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661

  • Haushaltseinkommen ist ein Prädiktor für vieles. Es korreliert stark mit der Postleitzahl und funktioniert fast genauso; daraus lassen sich sogar Ethnie oder politische Orientierung ziemlich gut vorhersagen.
    Viele glauben naiv, dass Ethnie aus einem Modell verschwindet, wenn man explizite ethnische Daten weglässt; tatsächlich bleibt sie indirekt erhalten. Das gilt nicht nur für Ethnie oder Politik, sondern für viele Faktoren, weshalb Kausalstatistik ein deutlich anderes und schwierigeres Feld ist. „Prädiktor“ bedeutet hier nicht Ursache, sondern Korrelation; ich mag den Begriff nicht besonders, weil er Verwirrung stiftet.
  • Bei Kindern weiß ich es nicht, aber es ergibt Sinn, dass arme Erwachsene eine schlechtere Impulskontrolle haben. Sie haben mehr Sorgen und weniger, worauf sie sich freuen können, und arbeiten vielleicht 12 statt 8 Stunden.
    Überarbeitete Reiche haben zwar auch viele schlechte Gewohnheiten, aber weil sie erfolgreiche Karrieren haben, wird das als Bewältigungsmechanismus behandelt und als Teil des Lebens abgetrennt. Wenn solche Forschung am Ende die Position dieser Schicht rationalisiert, nur weil sich Forschende und obere Mittelschicht demografisch überschneiden, wäre mein Zynismus nur gerechtfertigt.
  • Dass nach Kontrolle des Haushaltseinkommens der Großteil der Korrelation verschwand, beweist für sich genommen nicht viel. Einstellungen zu langfristigen Belohnungen können von besonderen, innerhalb der Familie geteilten kulturellen Faktoren beeinflusst sein, und diese Faktoren könnten sowohl Einkommen als auch schulische Leistungen beeinflussen.
    Um eine Schlussfolgerung zu ziehen, müsste man ein natürliches Experiment finden, bei dem Einkommensunterschiede vollständig exogen sind und nicht durch gemeinsame Faktoren entstehen.
  • In Tabelle 3 ist, weiß zu sein, ein hoch signifikanter Prädiktor (p=0,007) dafür, ob man länger als 7 Minuten warten kann; in Tabelle 7 wird bei der Kategorie Ethnie weiß jedoch überhaupt nicht berichtet. Ich frage mich, ob das bedeutet, dass Unterschiede zwischen weißen Kindern vollständig durch sozioökonomischen Status und andere Kovariaten erklärt werden.
    Wenn es umgekehrt bedeutet, dass Schwarzsein einen Effekt hat, der nicht durch andere Kovariaten erklärt wird, wäre das ziemlich kontrovers.
  • So offensichtlich ist die Schlussfolgerung nicht. Zum Beispiel könnte es auch genetische Eigenschaften geben, die Selbstkontrolle beeinflussen.

• Beim Betrachten der vielen Details dieses Experiments sind mein Vertrauen in und mein Interesse an den Sozialwissenschaften stark gesunken. Aus der Perspektive jemandes mit Ausbildung in quantitativer Biologie sieht man bei solchen Studien eine lange Liste von Faktoren, die Forschende fälschlich zu dem Schluss bringen können, ihre Hypothese sei wahr.
  In diesem Fall scheint das Interesse der Forschenden an hochwertiger Forschung nicht ausreichend gewesen zu sein; es wirkt, als seien sie von moralischen Überzeugungen oder Werturteilen ausgegangen, hätten dann ein Experiment durchgeführt und die Ergebnisse so interpretiert, dass sie ihre „Hypothese“ stützen. Aufgrund der Natur der Sozialwissenschaften ist es sehr schwierig, wirklich ehrliche Experimente durchzuführen.

  • Genau aus diesem Grund kann man über mehr als 100 Jahre hinweg umfangreiche und gründliche Kritik an den meisten Sozial-„Wissenschaften“ lesen. Viele Menschen sind mit der Vorstellung aufgewachsen, dass es einen kategorialen Unterschied zwischen harten Wissenschaften wie Physik und Chemie und weichen Wissenschaften wie den Sozialwissenschaften sowie vielen Teilgebieten von Biologie und Medizin gibt.
    Diese Unterscheidung ist jedoch weitgehend aus dem Zeitgeist verschwunden, und heute nehmen viele alles, was in einem „wissenschaftlichen Journal“ erscheint, als solide hin. Das ist ein großer Rückschritt in der wissenschaftlichen Bildung der Öffentlichkeit und legt die Grundlage dafür, dass Menschen zunehmend sogar die Schlussfolgerungen echter harter Wissenschaft anzweifeln.
  • Bei psychologischen Experimenten scheint der Teufel immer in den Details zu stecken. Vielleicht hat die Versuchsleitung dem Kind subtile Signale gegeben, und getestet wurde nur, wie gut das Kind diese Signale lesen konnte.
    Die genaue Formulierung des dem Kind angebotenen „Deals“, ob sich die Ergebnisse ändern, wenn die Formulierung geändert wird, ob es eine Zeit von Lebensmittelknappheit oder Überfluss war, welche kulturellen Normen damals dafür galten, „wie man sich verhalten sollte“ – all das kann Einfluss haben. Auch ein um sechs Monate höheres oder niedrigeres Durchschnittsalter der Kinder könnte etwas ändern, und sogar Wasser, Luft oder Farbe am Testort könnten relevant sein.
    Angesichts solcher potenzieller Störfaktoren scheint man mehr Statistik und Kontrollen zu brauchen als bei physikalischen Kollisionsexperimenten mit Elektronen. Und selbst Physiker haben in einfachen und reproduzierbaren Umgebungen ein strenges 5-Sigma-Kriterium für Entdeckungen etabliert; 3-Sigma-Ausreißer kommen und gehen. Da solche Standards in der Psychologie realistisch kaum vorstellbar sind, halte ich es für schwierig, daraus eine verlässliche empirische Wissenschaft zu machen.
  • Zu diesem konkreten Experiment habe ich Texte gelesen, in denen es seit Jahren sowohl von Psychologen als auch von Soziologen kritisiert wird. Es war eigentlich nur bei Leuten beliebt, die sich im Internet für „coole Nerds“ halten und so tun, als seien sie Experten für alles.
    Wenn man die langweiligeren Texte echter Wissenschaftler liest, sieht man, dass sie sich schon seit Jahren darüber beschweren.
  • Sogar der Dunning-Kruger-Effekt ist ein Missbrauch von Statistik. Der Effekt tritt auch bei zufällig erzeugten Stichproben auf, weil die Daten einen Boden und eine Decke haben.
    Bei niedrigen Punktzahlen gibt es nur begrenzten Spielraum, sich noch niedriger einzuschätzen, sodass man die eigene Fähigkeit leicht überschätzt; bei hohen Punktzahlen gibt es nur begrenzten Spielraum nach oben, sodass man die eigene Fähigkeit leicht unterschätzt.
  • Es gibt einen Grund, warum viele Wissenschaftler die Sozial-„Wissenschaften“ diplomatisch als weiche Wissenschaften einordnen. Der weniger diplomatische Wissenschaftler Feynmann nannte sie Pseudowissenschaft.

• Interessant ist, dass man bei der ersten Durchführung einer Studie möchte, dass das Experiment die eigene Hypothese bestätigt, und wenn man auf bestehender Forschung aufbaut, möchte man, dass die Replikation gelingt. Bei solchen berühmten Ergebnissen hofft man aber eher, dass sie scheitern, weil die Leute dann über die eigenen Ergebnisse sprechen.
  Solche Experimente können auf unzählige Arten unbewusst und subtil von den Wünschen der Experimentatoren beeinflusst werden. Hinzu kommt: Ein interessanter Störfaktor beim Marshmallow-Test ist, dass er womöglich ebenso stark das Vertrauen misst, dass die Belohnung tatsächlich ausgezahlt wird, wie die Fähigkeit, auf die Belohnung zu warten. Wenn man in einem unberechenbaren Umfeld lebt, ist es besser, ihn einfach zu essen.

  • Aus der Perspektive von jemandem, der in den 90ern in Russland in einem unberechenbaren Umfeld gelebt hat, wäre der genauere Satz: „Wenn man in einem unberechenbaren Umfeld lebt, ist es besser, in ein berechenbares Umfeld umzuziehen.“
    Ich habe viel mehr Menschen gesehen, die für die Zukunft sparten, und war eher überrascht, dass im berechenbaren Umfeld Kanada das Gegenteil häufiger war.
  • Ich erinnere mich, dass dieser Störfaktor als Erklärung benutzt wurde, um die Replikationsprobleme des Marshmallow-Tests grob abzutun, aber ich weiß nicht mehr, wer das tatsächlich überprüft hat.
    Dieser Artikel ist durchweg Unsinn und scheint eher zu zeigen, dass man sich beliebige Störfaktoren ausdenken kann, um alles zu erklären.
  • Die Ressourcen für Replikationsstudien sind begrenzt, also müssen sie verteilt werden. Je berühmter ein Ergebnis ist, desto eher zieht es gute und skeptische Replikationsversuche an.
    Dieser Ansatz erschien mir immer ziemlich vernünftig. Replikation braucht allerdings Zeit, und manche Leute betrachten es als Katastrophe, wenn „schlechte“ Ergebnisse nicht sofort korrigiert werden.
  • So etwas passiert eindeutig oft. Als ich mir ein Paper ansah, das häufig zitiert wird, um Dunning-Kruger zu „widerlegen“, war ich erstaunt, wie schlecht die Methodik war.
    https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...

• Praktisch alle Studien, die ich im AP-Psychologiekurs der High School gelernt habe, konnten nicht repliziert werden, diese eingeschlossen. Rückblickend war dieser Kurs bestenfalls Zeitverschwendung und schlimmstenfalls lieferte er schlechte Informationen für Lebensentscheidungen.

  • Der Ruf solcher Autoren sollte durch den Schlamm gezogen werden. Die Wikipedia-Seite von Daniel Kahneman lässt ihn nicht wie einen Betrüger aussehen, aber er hat nicht replizierte Studien selbstbewusst erwähnt und auch die gefälschten Daten anderer Betrüger abgesegnet.
  • Psychologie und Psychiatrie sind keine Wissenschaft, sondern pseudowissenschaftliche Zweige der Philosophie, ähnlich wie Osteopathie oder Phrenologie. Statt kontrollierte, replizierbare Experimente durchzuführen, evidenzbasierte klinische Diagnosen zu stellen oder die Organe zu messen und zu untersuchen, die sie angeblich behandeln, ähneln sie eher einer religiösen Gruppe, die aus Teeblättern liest.

• Eine andere Interpretation des Marshmallow-Tests ist, dass er ebenso sehr Vertrauen misst wie Selbstkontrolle. Wenn man dem Forscher nicht glaubt, dass er zwei Marshmallows geben wird, wartet man nicht.

  • Geringes Vertrauen in den Forscher erklärt dann wohl geringe Motivation zu schulischen Leistungen ;)
  • Das scheint einen Wiederholungstest zu brauchen. In den ersten paar Runden sollte es später keine Belohnung geben.
  • Oder es ist einfach völliger Unsinn ohne Vorhersagekraft, den man nach Belieben interpretieren kann.
  • Oder der zweite Marshmallow ist vielleicht gar nicht so attraktiv. Wenn einem einer jetzt oder zwei später angeboten werden, könnte man einen jetzt wählen, weil man keine zwei will.

• Kinder, die den Erwachsenen vertrauen, die etwas versprechen, neigen dazu, ihre Bedürfnisbefriedigung aufzuschieben.
  https://pubmed.ncbi.nlm.nih.gov/26799458/
  Aus Sicht der Spieltheorie ergibt das ebenfalls Sinn. Wenn man ein internes Modell hat, nach dem man für die Wartezeit, bis Erwachsene ihre Versprechen einlösen, eine Normalverteilungs-Prior ansetzen sollte — also die Erfahrung, dass die meisten Erwachsenen im Leben ihre Versprechen eher halten —, dann ist Warten rational.
  Wenn man dagegen erfahrungsgemäß von einer Power-Law-Prior ausgehen muss, ist es völlig rational, irgendwann die Verluste zu begrenzen. Diese Interpretation hat eine gewisse Schönheit, weil sie bedeutet, dass Erfolg im Leben mit verlässlichen Eltern korreliert, und angesichts des Zeitfaktors vermute ich, dass tatsächlich auch Kausalität vorliegt.

• Gibt es überhaupt berühmte psychologische Tests, die repliziert wurden?

  • Das Asch-Konformitätsexperiment scheint replizierbar zu sein: https://journals.plos.org/plosone/article?id=10.1371/journal...
    Nebenbei: Psychologische Experimente werden oft gerade deshalb berühmt, weil sie kontrovers sind, und das kann an sich schon einen Bias gegen Replizierbarkeit erzeugen. Langweilige psychologische Experimente mit wenig überraschenden Ergebnissen lassen sich vielleicht oft problemlos replizieren.
  • Ich bin ziemlich sicher, dass der Test „Wirst du Unsinn für Ruhm oder Geld als Tatsache veröffentlichen?“ in mehreren Disziplinen mehrfach repliziert wurde.
  • Das Experiment zur Zuschauer-Apathie wurde mehrfach repliziert, und das Milgram-Experiment ebenfalls.
  • https://www.bps.org.uk/research-digest/ten-famous-psychology...
    In vielerlei Hinsicht ein schwieriges Thema.

• In meinem Umfeld hat das anekdotisch gepasst. Von den Leuten, mit denen ich aufgewachsen bin und zur Schule ging, kamen diejenigen, die unmittelbare Befriedigung aufschieben konnten und langfristige Ziele hatten, ziemlich gut zurecht; diejenigen, die ohne Plan einfach mit dem Strom lebten, hatten eher Mühe, sich gerade so über Wasser zu halten.
  Auch in meinem eigenen Leben war der Leistungsunterschied groß, je nachdem, ob ich ein Ziel oder eine Vision hatte oder einfach nur in den Tag hineinlebte. Ich denke, in allen wichtigen Bereichen – Hobbys, Partner, Karriere, Familie, Beziehungen – braucht man Ziele, Visionen und Maßstäbe.

  • Wenn du nicht als Kind den Marshmallow-Test mit deinen Freunden gemacht hast, bin ich ehrlich gesagt nicht sicher, ob wir überhaupt über dasselbe reden. Die ursprüngliche Studie ist ein Fall, in dem auf ein sehr seltsames und spezifisches Phänomen enorme Extrapolation angewendet wurde.
    „Im Leben gut zurechtkommen“, „Belohnungsaufschub“ und „langfristige Ziele“ sind weit von konkret messbaren Eigenschaften entfernt. Wie sollte man zum Beispiel jemanden einordnen, der bei Games immer wartet, bis sie im Sale sind, aber wegen Ernährungsunsicherheit auch ungesundes Gratisessen nicht ablehnen kann? Um solche Eigenschaften zu bewerten, gibt es unzählige Variablen. Was diese Studie sagt, ist, dass es wahrscheinlich nicht klug ist, aus einem kleinen Indikator derart grobe Verallgemeinerungen zu extrapolieren.
  • Wenn ein solches Persönlichkeitsmerkmal existiert, ist es ziemlich offensichtlich wahr, dass es für Erfolg wichtig ist. Ob man dieses Merkmal aber messen kann, indem man einem viereinhalbjährigen Kind einen Marshmallow vorsetzt, ist eine völlig andere Frage.
  • In meinem Umfeld war beides möglich. Manche gingen an eine Ivy-League-Uni und landeten am Ende in einem gewöhnlichen Tech-Job, andere kamen von einer Ivy-League-Uni, hatten aber Mühe, eine Stelle zu finden.
    Umgekehrt erreichten auch Leute, die einfach mit dem Strom lebten, dieselben gewöhnlichen Tech-Jobs, und Leute, die in der Schule scheiterten und gerade so ein Community College abschlossen, führen heute erfolgreiche Kleinunternehmen, weil sie sich weiter ihren eigenen Weg gebahnt haben.
  • Ich glaube nicht, dass das unbedingt stimmt. Ich kenne viele Leute, die nicht zielorientiert, sondern opportunistisch vorgegangen sind und deren Leben trotzdem ziemlich gut gelaufen ist. Ziele für Partner, Familie und Beziehungen zu setzen klingt für mich wie ein Rezept für eine Katastrophe.
  • Deshalb ist solche schlechte Psychologieforschung auf subtile Weise schädlich. Es könnte einen echten Effekt geben, aber vielleicht keinen auf dem Niveau von Baby plus Marshmallow.

• Manche Forschungsfelder werden immer Kunst sein und keine Wissenschaft. Literatur, Kunst und die menschliche Psychologie gehören dazu.
  Großartige Autorinnen, Künstler und Therapeutinnen können wirklich enorme Beiträge leisten, aber sie können keine strengen Experimente durchführen und Wahrheit in Zahlen etablieren. Das ist auch in Ordnung.
  Nicht in Ordnung ist eine Clique akademischer Psychologen, die keine Ausbildung in quantitativen, „harten“ Disziplinen haben und nicht einmal merken, dass sie Unsinn reden. Mit hart ist hier nicht schwierig gemeint, sondern gut definiert.

• Ich erinnere mich, beim Aufwachsen Situationen wie den Marshmallow-Test erlebt zu haben, und ich habe dabei nicht gelernt, Belohnung aufzuschieben, sondern dass man der Dumme ist, wenn man wartet oder Opfer bringt.
  „Wenn du jetzt darauf verzichtest, bekommst du später zwei“ wurde oft zu „Es gibt keinen zweiten Marshmallow, und den ersten bekommst du auch nicht zurück“. Wie oft müssen andere Kinder so etwas erleben, bis sie lernen, Belohnung nicht aufzuschieben? Man nennt das dann „mangelnde Impulskontrolle“, aber ich würde es aus Erfahrung gelernt nennen.

  • Nahrungsmangel bringt einem das schnell bei. Fast jede Beschäftigung im unteren Lohnsegment funktioniert so.
    Versprechen wie „Wenn du den Kundensupport für diesen großen Tech-Konzern machst, kannst du in eine Rolle in der Unternehmensabteilung wechseln“, aber der Anteil der Eingestellten, bei denen das tatsächlich klappt, liegt praktisch bei 0 %. Einer der Gründe, warum Reddit gut ist, ist, dass es das System der nicht eingehaltenen Versprechen, auf dem die meisten Jobs im Einzelhandel und Servicebereich laufen, gut sichtbar gemacht hat.