„Peer Review“ durch „Peer Replication“ ersetzen (2021)

• Der Artikel diskutiert die Idee, in der wissenschaftlichen Forschung das traditionelle Peer Review durch „Peer Replication“ zu ersetzen.
• Der Autor argumentiert, dass der derzeitige Peer-Review-Prozess fehlerhaft ist und ein erhebliches Hindernis für die Vermittlung wichtiger wissenschaftlicher Entdeckungen darstellen kann.
• Der vorgeschlagene Prozess der „Peer Replication“ besteht darin, Preprints an andere Labore zu schicken, damit diese die Ergebnisse replizieren, anstatt sie nur von einigen wenigen Fachleuten begutachten zu lassen.
• Der Autor schlägt vor, dass der wahre Test einer Arbeit ihre Fähigkeit sein sollte, ihre Ergebnisse in der realen Welt reproduzierbar zu machen.
• Der Artikel betont, dass unabhängige Labore derzeit kaum einen Anreiz haben, veröffentlichte Ergebnisse zu replizieren, obwohl dies dem idealen Funktionieren der Wissenschaft entsprechen würde.
• Im vorgeschlagenen System würden Forschende, die Replikationsarbeiten durchführen, in der veröffentlichten Arbeit genannt werden, was einen Anreiz für ihren Aufwand schafft.
• Der Autor erkennt mögliche Herausforderungen dieses Ansatzes an, etwa dass zwischen Einreichung und Veröffentlichung zusätzliche Zeit nötig sein könnte und dass es schwierig sein kann, Ergebnisse zu reproduzieren, die fortgeschrittene wissenschaftliche Techniken oder erhebliche Ressourcen erfordern.
• Um den Prozess praktikabler zu machen, schlägt der Autor vor, Details der Geschichte vorab einzureichen und die Replikation zu organisieren, während das Manuskript noch in Arbeit ist.
• Der Artikel schließt mit der Überlegung, dass Organisationen wie Review Commons Pilotversuche für diesen neuen Ansatz organisieren könnten und dass Peer Replication, sobald Wissenschaftler sie gedruckt sehen, gegenüber dem traditionellen Peer Review bevorzugt werden könnte.

[GN⁺]

Hacker-News-Meinungen

• Dieser Artikel schlägt vor, das derzeitige Peer-Review-System in der wissenschaftlichen Forschung durch „Peer Replication“ zu ersetzen.
• Kritiker argumentieren, dass die Replikation aller veröffentlichten Arbeiten erheblichen Aufwand und erhebliche Ressourcen erfordern würde und den Wissenschaftlern, die die Replikationen durchführen, kaum Vorteile bringt.
• Der Zweck wissenschaftlicher Veröffentlichungen besteht darin, neue Ergebnisse mit anderen Wissenschaftlern zu teilen, damit diese die Arbeit fortführen oder verifizieren können. Das Peer-Review-Verfahren wurde ursprünglich dazu entwickelt, schlecht geschriebene Arbeiten und offensichtlichen Spam abzulehnen.
• Das Peer-Review-Verfahren garantiert keine Replikation, stellt aber sicher, dass eine Arbeit lesbar und verständlich ist.
• Einige meinen, dass „Peer Replication“ bei Experimenten, die Milliarden Dollar kosten, unrealistisch ist. Stattdessen könnte es praktikabler sein, Metadaten zu replizierten Arbeiten hinzuzufügen.
• In Bereichen wie Informatik und Machine Learning wird wegen der Unklarheit vieler Arbeiten der Ansatz „ohne Code ist es nicht passiert“ gefordert.
• Manche behaupten, das Konzept der „Peer Replication“ werde missverstanden. Wenn damit gemeint ist, dass ein anderes Labor übereinstimmende Datensätze erzeugt und so die Ergebnisse repliziert, sei das wegen der Kosten und des Zeitaufwands der Datenerhebung nicht praktikabel.
• Vorgeschlagen wird, „Peer Review“ in „Lesbarkeitsprüfung“ und „Erklärung zur Replizierbarkeit“ aufzuteilen. Letztere würde die Methodik und Strategie, die zur Durchführung des Experiments verwendet wurden, detailliert beschreiben.
• Die Anforderung einer „Replizierbarkeitsprüfung“ oder einer „Methodik-Karte“ für jede Arbeit gilt als realistischerer Ansatz. Dies würde einen Austausch zwischen Reviewern und Autoren beinhalten, mit dem Ziel, die Ergebnisse zu reproduzieren.
• Einige Kritiker argumentieren, dass wichtige Informationen, die zur Reproduktion der Ergebnisse nötig sind, in Arbeiten oft weggelassen werden, was zu mangelndem Vertrauen in bestimmte wissenschaftliche Richtungen führt.
• Trotz aller Sympathie für „Peer Replication“ argumentieren Kritiker, dass dies nicht immer praktikabel ist, insbesondere bei Großprojekten wie LIGO, LHC und JWST.