- Ein in Management Science veröffentlichtes Paper, das einen Leistungsvorsprung von Unternehmen mit hoher Nachhaltigkeit behauptete, bleibt ohne Korrektur oder Sanktion bestehen, obwohl tatsächlich eine andere Analysemethode verwendet wurde als angegeben
- Trotz der Korrekturanfragen des Hinweisgebers Andy King reagierten das Journal, mehrere Universitäten und Stellen für Forschungsintegrität durchgehend mit Verantwortungsabwälzung und Untätigkeit
- Andrew Gelman kritisiert an diesem Fall und weiteren Beispielen das Fehlen von Sanktionen und die selbstschützenden Strukturen der Wissenschaft und entwirft satirisch die fiktive Universität „Second Chance U“
- In den Blog-Kommentaren wurden die kumulative Wirkung öffentlicher Kritik, der Einsatz von AI-Tools, eine Systematisierung von Verfahren zur Fehleranzeige in Papers und der Aufbau alternativer Plattformen intensiv diskutiert
- Der Fall gilt als Beispiel dafür, wie strukturell ohnmächtig die Wissenschaft gegenüber Forschungsfehlverhalten ist und wie notwendig mehr Reproduzierbarkeit und Verantwortlichkeit sind
Fall fehlender Korrekturen und falscher Behauptungen in einem häufig zitierten Paper
- Ein in Management Science veröffentlichtes Paper behauptete, „Unternehmen mit hoher Nachhaltigkeit erzielten langfristig bessere Aktienmarkt- und Rechnungslegungsergebnisse“, doch die tatsächlich verwendete Analysemethode unterschied sich von der im Paper beschriebenen Methode
- Das Paper wird pro Jahr rund 2.000-mal zitiert und ist seit 2006 der meistzitierte Beitrag dieses Journals; es beeinflusst die Investmentpraxis und die öffentliche Politik
- Die Autoren räumten nach zwei Jahren Druck die falsche Methodenbeschreibung ein, weigerten sich jedoch, ein Corrigendum einzureichen
- Andy King machte auf das Problem aufmerksam und forderte bei mehreren Institutionen Korrekturmaßnahmen, doch die meisten reagierten mit Verantwortungsabwälzung oder Untätigkeit
- Management Science verwies auf eine Richtlinie, nach der nur Autoren selbst Korrekturen beantragen könnten, und erlaubte King lediglich die Einreichung eines Kommentars (comment), verlangte dafür jedoch ein langwieriges Begutachtungsverfahren
- Die London Business School argumentierte, es liege kein Verstoß vor, weil der betreffende Autor die Analyse nicht selbst durchgeführt habe
- Die Harvard Business School legte weder offen, ob intern ermittelt wurde, noch mit welchem Ergebnis, und die University of Oxford entzog sich der Verantwortung mit dem Hinweis, der Autor sei zum Zeitpunkt der Forschung in Harvard gewesen
- Das UK Research Integrity Office antwortete, es habe keine Zuständigkeit
- Andrew Gelman zeigt sich gegenüber der Reaktion von Forschungsintegritätsstellen und Universitäten skeptisch und verweist auf mehrere frühere Fälle
- Er nennt Datenmanipulation durch einen Professor der University of California, Forschungsbetrug durch einen Professor in Cornell, falsche Meldungen von U.S.-News-Daten an der Columbia University sowie eine preisgekrönte Plagiatsaffäre an der Rutgers University und betont, dass es nahezu keinerlei Sanktionen gab
- Er kritisiert, dass Institutionen auf externe Hinweise entweder nicht reagierten oder sogar den Hinweisgeber angriffen – eine „Lance-Armstrong-artige Reaktion“
- Gelman schlägt satirisch die Gründung der fiktiven Universität „Second Chance U“ vor
- Das Szenario versammelt Wissenschaftler und Prominente, die wegen Plagiaten, Datenmanipulation oder Fehlverhaltens in die Kritik geraten sind, und beschreibt sie als die einzige Universität, an der das Schreiben von Berichten mit Chatbots ausdrücklich gefördert wird
- Auf Kings Frage antwortet er, er wisse „nicht, was man noch tun könne“, und kündigt an, weiterhin schwache Wissenschaftsberichterstattung bei Freakonomics, die Behauptung ‚100.000 Dollar pro Zitat‘ und die selbstschützende Haltung der Wissenschaft zu kritisieren
- Zugleich ergänzt er, dass diese Kritik bislang keine substanziellen Veränderungen ausgelöst hat
Zusammenfassung der Diskussion in den Blog-Kommentaren
-
Wirkung und Grenzen der Aufdeckung von Forschungsfehlverhalten
- Robin Blythe merkt an, dass die Aufdeckung falscher Behauptungen langfristig Einstellungen, Fördergelder und die Reputation von Institutionen beeinflussen könne
- Dale Lehman weist auf die Verantwortungsabwälzung der Journale und die Entschärfung von Reputationsschäden hin und stellt infrage, ob selbst Reputationsschäden für Autoren eine echte Wirkung hätten
- Blythe betont, dass öffentliche Kritik in der Summe Veränderungen bewirken kann und öffentlicher Druck oft mehr Einfluss habe als interne Verfahren
-
Diskussion über den Einsatz von AI-Tools (Claude, Stan, SAS usw.)
- Dre teilt Erfahrungen mit der Analyse von Umfragedaten mithilfe von Claude und bewertet das Tool als nützlich für Code-Generierung und Visualisierung
- Anon erklärt, dass sich mit Claude Code und VSCode-Erweiterungen die Automatisierung von Qualtrics-Umfragedateien und präregistrierten Analysen sowie die Erstellung integrierter Berichte mit Quarto umsetzen lasse
- Die Version Opus 4.6 sei vor etwa sechs Wochen erschienen und habe Forschenden spürbare Verbesserungen gebracht
- Dre erwähnt die Möglichkeit, ein LLM für die Stan Math Library zu entwickeln, und bekundet Interesse an aktuellen Forschungstrends im Zusammenhang mit der zunehmenden Komplexität von Stan-Modellen
-
Vorschläge zum Umgang mit problematischen Papers
- AAAnonymous schlägt ein allgemeines Paper vor, das das Verfahren zur Meldung von Fehlern in Papers systematisiert
- Es solle die Kontaktwege Autor → Journal → Forschungsintegritätsstelle schematisch darstellen und, falls alle Schritte scheiterten, die Veröffentlichung eines öffentlichen Papers im Stil von ‚comment on: Eccles et al., 2014‘ empfehlen
- Eine solche Plattform könnte Druck auf Autoren und Journale ausüben, Korrekturen vorzunehmen
- Andy King teilt Links zu seiner Replikationsstudie und seinem Widerlegungspaper und erwähnt, dass er bei Management Science direkt einen Kommentar einreicht
- AAAnonymous bestätigt, dass Kings Replikationsstudie 2025 im Journal of Management Scientific Reports veröffentlicht wurde und danach eine Erwiderung der Originalautoren sowie Kings Gegenantwort 2026 erschienen
- Künftig könne man durch Nachverfolgung der Zitationen des Originalpapers von 2014 analysieren, ob das kritische Paper mitzitiert werde, um die Wirksamkeit formaler Kritik zu bewerten
- Das könne mit dem Problem zusammenhängen, dass zurückgezogene Papers weiterhin zitiert werden
- King sagt, er habe „jahrelang allein daran gearbeitet“, und bittet um Kooperationsangebote; AAAnonymous erklärt sich als Nichtfachperson bereit, aus allgemeiner Perspektive beizutragen
-
Kritik an Peer Review und der akademischen Struktur
- Kaiser verweist mit dem Dopingfall Lance Armstrong als Analogie auf das Versagen von Peer Review
- Dass Gutachter die Diskrepanz zwischen der im Paper beschriebenen Methode und den tatsächlichen Ergebnissen übersehen hätten, sei ein gravierendes Problem
-
Verantwortung von Fachzeitschriften und alternative Plattformen
- Michael Weissman schlägt vor, über externe Journale wie Econ Journal Watch ein Mittel für formale Korrekturen und Druckaufbau zu schaffen
- Andy King stimmt zu und kündigt an, einen Beitrag bei diesem Journal einzureichen
- jrkrideau schlägt einen Post auf PubPeer vor und verweist darauf, dass Dorthy Bishops Analyse zeige, dass PubPeer wirksam bei der Überwachung zurückgezogener Papers sei
-
Diskussion zu Forschungsfehlverhalten und Reproduzierbarkeit
- Peter Dorman regt eine umfassende diagnostische Untersuchung zurückziehungsreifer Forschung an und schlägt eine Systematisierung von Fehlertypen und Erkennungskriterien vor
- AAAnonymous verweist unter Berufung auf das Paper Steen(2010) auf Daten, wonach Autoren betrügerischer Papers bevorzugt in Journals mit hohem IF veröffentlichen und zu Co-Autorenschaft sowie erneuten Rückzügen neigen
- Wenn Journale Autorennamen mit Rückzugshistorien abglichen, könnte das Rückfällen vorbeugen
- Während Plagiatsprüfungen heute verbreitet seien, fehle es bislang an einer Prüfung von Rückzugshistorien
-
Misstrauen und Erschöpfung gegenüber der Wissenschaft
- Ein anonymer Nutzer klagt, es gebe nicht einmal eine zuständige oder interessierte Stelle, um unethische Forschung zu melden, und äußert Ermüdung angesichts von Macht- und Vermögensungleichgewichten
-
Sonstige Diskussionen
- Anon Coward zitiert einen E-Mail-Austausch zwischen Marc Hauser und Jeffrey Epstein und berichtet, Hauser habe Rat zum Umgang mit der Untersuchung wegen Fehlverhaltens sowie geschäftliche Beratung erbeten
- Andrew Gelman verweist auf die Verbindung Epsteins zu einem Projekt zur Unterstützung gefährdeter Jugendlicher und reagiert mit „schrecklich“
- JeffJ kritisiert die Enthüllungsarbeit von DataColada als „haltlose Angriffe“, worauf Andrew erwidert, DataColada befasse sich mit Forschungsmethodik und betreibe keine persönlichen Angriffe
- Back0 bedankt sich bei King für seinen Einsatz und nennt ihn „jemanden, der den richtigen Kampf führt“
Seitenaufbau und Zusatzinformationen
- Am Seitenende befindet sich ein Formular zum Schreiben von Kommentaren mit Eingabefeldern für Name, E-Mail und Website
- Der Abschnitt „Leave a Reply“ basiert auf dem standardmäßigen WordPress-Kommentarsystem
- Zu den Hauptkategorien der Website gehören verschiedene Themen wie Bayesian Statistics, Causal Inference, Economics, Public Health, Sociology und Stan
- In der Liste der jüngsten Kommentare erscheinen Diskussionen von Nutzern wie Andrew, Phil, Sean, Carlos Ungil, jrkrideau und JeffJ zu Themen wie der Data-Colada-Kontroverse, Bayesian Clinical Trials, dem Alter literarischen Schaffens und NFL-Spielstatistiken
- Ganz unten auf der Seite steht der Hinweis „Proudly powered by WordPress“ mit einem Link zur offiziellen WordPress-Website
1 Kommentare
Hacker-News-Kommentare
Das Kernproblem ist die Korrekturpolitik der Fachzeitschriften
Wenn ein Journal nur dann Änderungen zulässt, wenn die Autorin oder der Autor selbst eine Korrektur beantragt, ist das kein Korrekturverfahren, sondern lediglich ein „Beschwerdesystem“
Die Medizin hat nach dem Thalidomid-Skandal die Gefahren einer solchen Struktur schmerzhaft gelernt, doch die Managementforschung scheint diese Lehre ignoriert zu haben
Auch Einsteins Arbeiten oder Principia Mathematica enthalten Fehler und bleiben dennoch referenzierbar
Falsche Arbeiten werden mit der Zeit von selbst seltener zitiert
Das Problem ist, dass viele Journale noch immer als absolute Autorität ansehen
Wenn ein Paper Fehler enthält, kann ein anderer Forschender es durch ein separates „comment“-Paper widerlegen
Die ursprünglichen Autorinnen und Autoren oder die Redaktion müssen dem nicht zustimmen; es durchläuft eine unabhängige Begutachtung
Da die Herausgebergremien größtenteils aus unbezahlten Freiwilligen bestehen, wollen sie vermeiden, in Kontroversen über fremde Arbeiten hineingezogen zu werden
Daraus entstand die Linie: „Die Autorinnen und Autoren tragen Verantwortung für ihr eigenes Paper, und wer Einwände hat, soll ein separates Paper schreiben“
Wie Semmelweis wegen des verletzten Stolzes seiner Arztkollegen in eine psychiatrische Anstalt eingewiesen wurde, werden noch heute zahlreiche Patientinnen und Patienten durch Übermüdung, Fehldiagnosen und Ähnliches geschädigt
Kürzlich wurde zudem ein Paper über Opiatexposition beim Stillen zurückgezogen, und erschütternd ist, dass es sogar Sorgerechtsentscheidungen beeinflusst haben soll
Verwandter Artikel
Aus der Perspektive von jemandem, der selbst in der Wissenschaft tätig war, wirkte die Qualität von Business-School-Forschung oft erstaunlich niedrig
Häufig fehlt die Begründung oder die Aussagen sind offensichtlich falsch, und manchmal entsteht sogar der Eindruck, die Autorinnen und Autoren wüssten das und schrieben dennoch mit Blick auf die öffentliche Wirkung
Außerdem sagte er, Business Schools hätten nie ein ernsthaftes akademisches Fundament aufgebaut und seien stattdessen zu Geldmaschinen der Universitäten geworden
Meine Hochschule hat den Lehrenden eine Publikationspflicht auferlegt, um eine zusätzliche Akkreditierung zu erhalten
Ganz nach dem Motto „publish or perish“
Das ist jedoch ein klassischer Fall von Goodharts Gesetz — sobald ein Messwert zum Ziel wird, verliert er seinen Sinn
Ich frage mich, warum hochbezahlte Administratoren das nicht verstehen
Man braucht kluge Professorinnen und Professoren, die Papers selbst lesen und beurteilen können; mechanische Punkteberechnung ist grundsätzlich der falsche Ansatz
Vermutlich haben sie einfach die Kennzahlen der Nachbarhochschule kopiert
Eine Politik nach dem Muster „Nur Autorinnen und Autoren können Korrekturen beantragen“ ist unsinnig
Wie viele Forschende würden ihren eigenen Fehler öffentlich zugeben? Ein unethischer Forschender würde das niemals tun
Der richtige Weg, fragwürdige Ergebnisse zu korrigieren, ist die Nachfolgeforschung mit besseren Daten und Methoden
Mehrere unabhängige Teams sollten dasselbe Thema untersuchen, und aus der Zusammenführung der Ergebnisse in einer Meta-Analyse entsteht wissenschaftlicher Konsens
In den meisten Fällen ist Nachfolgeforschung angemessener als ein Rückzug
Wenn ein Paper allerdings wie hier eher von der allgemeinen Öffentlichkeit als von Wissenschaftlerinnen und Wissenschaftlern zitiert wird, wird die Konsensbildung schwieriger
Ich war verwirrt, wer der „Andrew“ im Blog eigentlich ist
In der Autorenliste steht Andrew Gelman, aber der Link-Slug lautet „aking“, daher könnte auch Andrew King gemeint sein
Dort steht der Satz: „I heard about this from my colleague Andy King“
Forschung, die behauptet, dass Fakten und Werturteile übereinstimmen, ist immer verdächtig
Die Realität existiert unabhängig von unseren Werten; wenn beides übereinstimmt, sollte man eher misstrauisch werden
Menschen haben unterschiedliche Werte, und in einer globalisierten Gesellschaft gilt das umso mehr
Bis Belege überprüft sind, sollte man allen Ergebnissen mit gleicher Skepsis begegnen
Es gab auch die halb scherzhafte Reaktion: „Dieses Paper hat unzähligen Studierenden den Karrierestart ermöglicht — nehmt ihnen diese Freude nicht“
Ich fragte mich, ob auf der betreffenden Seite konkrete Sachverhalte genannt werden
Außer der Aussage „Die im Paper beschriebene Methode unterscheidet sich von der tatsächlich verwendeten Methode“ fehlte mir eine genauere Erklärung
Die meisten Reaktionen aus der Wissenschaft wären wohl: „Bei einem Management-Journal hätte man genau das erwartet“
SSRN-Link
Ich wünschte, es gäbe für wissenschaftliches Publizieren eine GitHub-ähnliche Infrastruktur
Man könnte Papers in privaten Repositories verwalten, sie bei der Veröffentlichung öffentlich machen, Fehler als Issues erfassen und den Review-Status mit Badges kennzeichnen