„Peer Replication“ statt „Peer Review“ (2021)
(blog.everydayscientist.com)- In vielen Wissenschaftsbereichen fehlt es an unabhängiger Reproduktion, doch das heutige Peer Review ist fehleranfällig und wird zu einer Hürde, die die Vermittlung wichtiger Forschung verzögert
- Die vorgeschlagene Peer Replication ersetzt die Bewertung eines Manuskripts durch anonyme Gutachter dadurch, dass ein anderes Labor die Kernergebnisse tatsächlich reproduziert und dies in die Publikationsentscheidung einfließt
- Forschende, die an der Replikation teilnehmen, werden in einer eigenen Zeile im Paper genannt und erhalten dadurch Zitationen und einen CV-Eintrag; Autorinnen und Autoren verteidigen ihre Ergebnisse über Reproduzierbarkeit, statt auf zusätzliche Experimentanforderungen der Gutachter reagieren zu müssen
- Experimente, die fortgeschrittene Techniken, lange Zeit oder viele Ressourcen erfordern, sind schwer vollständig zu replizieren, sodass Herausgeber, Autoren und Gutachter zwischen Strenge und Umsetzbarkeit abwägen müssen, was reproduziert werden soll
- Um gescheiterte Replikationen, wiederholte Versuche und Journal Shopping zu begrenzen, braucht es Transparenzmechanismen wie Präregistrierung, die Offenlegung negativer Fälle und die Archivierung abgelehnter Arbeiten
Peer Replication als vorgeschlagene Alternative zum Peer Review
- Die ideale Prüfung in der Wissenschaft besteht nicht darin, dass einige Expertinnen und Experten einem Manuskript ihren Stempel geben, sondern darin zu prüfen, ob die Befunde eines Papers in der realen Welt reproduziert werden können
- Der beste Test einer neuen Methodik ist nicht die Begutachtung eines Papers, sondern dass andere Forschende die Technik tatsächlich anwenden
- Für unabhängige Labore gibt es kaum Anreize, bereits veröffentlichte Ergebnisse erneut zu überprüfen; daher wird die Mehrheit publizierter Arbeiten später nicht unabhängig repliziert
- Bei Peer Replication wird ein Preprint oder Manuskript an ein anderes Labor geschickt, das die zentralen Befunde praktisch reproduziert
- Wenn die Kernbefunde repliziert werden, wird das Manuskript akzeptiert und veröffentlicht
- Die Autorinnen und Autoren können Kolleginnen und Kollegen um Feedback bitten und das Manuskript überarbeiten, aber der Editor übernimmt nicht stellvertretend das Einholen von Stellungnahmen oder das Einfordern von Änderungen
Wie Replikationsergebnisse gemeinsam mit dem Paper veröffentlicht werden
- Das veröffentlichte Paper enthält zusammen mit den Rohdaten auch die Ergebnisse der Replikationsversuche
- Es kann tabellarisch gezeigt werden, welche Reagenzien und Techniken mit dem Originalexperiment identisch waren
- Je mehr Parameter sich zwischen Original- und Replikationsexperiment unterscheiden, desto robuster ist der endgültige Befund, wenn dennoch ähnliche Ergebnisse herauskommen
- Leserinnen und Leser können anhand der Replikationsergebnisse selbst beurteilen, ob die Gesamtevidenz die Behauptungen des Papers trägt
Anreize für die Beteiligten
- Traditionelles Peer Review kostet viel Zeit und Aufwand, wenn es richtig gemacht wird, bietet aber kaum Belohnung
- Bei Peer Replication erscheint der Name der Forschenden, die die Replikation durchgeführt haben, in einer eigenen Zeile im veröffentlichten Paper
- Gutachter können Zitationen erhalten
- Sie bekommen eine weitere paperähnliche Leistung, die sich im CV aufführen lässt
- Autorinnen und Autoren können zeigen, dass ihre Ergebnisse auch nach strenger Prüfung Bestand haben
- Im traditionellen Begutachtungsverfahren müssen Autorinnen und Autoren zusätzliche Experimente durchführen und auf Kritik der Gutachter reagieren; bei Peer Replication übernehmen die Gutachter die Rolle, die Befunde des Manuskripts experimentell zu verteidigen
Umsetzbarkeit und Nebeneffekte
- Viele Studien sind schwer zu replizieren
- wenn fortgeschrittene wissenschaftliche Techniken nötig sind
- wenn viel Zeit erforderlich ist
- wenn wie bei Mausversuchen viele Ressourcen gebraucht werden
- Herausgeber müssen gemeinsam mit Autoren und Gutachtern entscheiden, welche Experimente reproduziert werden sollen
- Das Ziel ist ein Gleichgewicht zwischen Strenge und Umsetzbarkeit
- Einige sehr komplexe Experimente könnten unrepiziert bleiben
- Dann müssen Leserinnen und Leser selbst entscheiden, wie sie das gesamte Paper bewerten
- Peer Replication verwandelt einen konfrontativen Begutachtungsprozess in eine Zusammenarbeit unter Kolleginnen und Kollegen auf der Suche nach Wahrheit
- Wenn die Perspektive und das Denken anderer Forschender hinzukommen, können neue Kontrollen oder alternative experimentelle Ansätze aufgenommen werden, die den ursprünglichen Befund stärken
- Wenn experimentelle Verfahren häufiger geteilt werden, hilft das künftigen Kooperationen, neuen Ansätzen und dem Training von Studierenden und Postdocs in praktischen Techniken
- Es kann ein Weg sein, implizites praktisches Wissen zu verbreiten, das sonst in einzelnen Laboren eingeschlossen bleibt
- Wenn andere Forschende tatsächlich versuchen, experimentelle Ergebnisse zu reproduzieren, wird es schwieriger, manipulierte Daten oder Bilder als echt durchzubringen, was wissenschaftliches Fehlverhalten verringern kann
Erwartete Probleme und wie man anfangen könnte
- Peer Replication kann von der Einreichung bis zur endgültigen Veröffentlichung mehr Zeit kosten
- Traditionelles Peer Review dauert jedoch meist ohnehin mehrere Monate, sodass Replikationsexperimente in vielen Fällen keine zusätzliche reale Zeit verursachen müssen
- Die Zeit ließe sich verkürzen, wenn Autorinnen und Autoren Forschungsteile einreichen, ohne auf die Fertigstellung des gesamten Manuskripts zu warten
- Ein journalunabhängiger Mechanismus wie ReviewCommons wäre ideal, um Replikationen teilweiser Befunde vorzubereiten
- Wenn eine Replikation scheitert, braucht es Abwägung
- Es muss beurteilt werden, ob die gescheiterte Replikation für das Manuskript essenziell ist
- Es muss auch geprüft werden, ob der Replikationsversuch ausreichend korrekt durchgeführt wurde
- Ein zweiter Replikationsversuch kann nötig sein, doch man sollte vermeiden, einfach so lange zu wiederholen, bis ein Erfolg eintritt
- Präregistrierung von Replikationsplänen kann helfen, dies zu verringern
- Die Details gescheiterter Replikationen müssen zwingend im veröffentlichten Paper enthalten sein
- Es bleibt auch das Problem des Journal Shopping, wenn Autorinnen und Autoren nach einer Ablehnung wegen gescheiterter Replikation bei einem anderen Journal erneut einreichen
- Abgelehnte Arbeiten sollten in irgendeiner Form archiviert werden, um Transparenz und Rechenschaft zu sichern
- Es braucht außerdem Mechanismen, damit Forschende, die an der Replikation beteiligt waren, Anerkennung für ihre Arbeit erhalten
- Die Rollenverteilung ist wie folgt
- Editor: sichtet eingereichte Manuskripte und lehnt offensichtlich fehlerhafte Wissenschaft, Experimente ohne Replikationswert, fehlende essenzielle Kontrollen und sehr langweilige Ergebnisse ab
- Editor: findet geeignete Gutachter und legt gemeinsam mit Autoren und Gutachtern fest, welche Experimente wie repliziert werden sollen
- Editor: trifft nach Rücksprache mit den Gutachtern die endgültige Entscheidung, ob die Befunde des Papers ausreichend reproduzierbar für eine formale Veröffentlichung sind
- Authors: schreiben das Manuskript, holen über Wege wie bioRxiv Feedback ein und überarbeiten es vor der Einreichung bei einem Journal
- Authors: unterstützen die Gutachter bei Experimentdesign, Reagenzien und falls nötig auch mit Personal oder Zugang zu Spezialgeräten
- Referees: versuchen redlich, die Kernergebnisse des Manuskripts zu reproduzieren, führen bei Bedarf zusätzliche Experimente oder Kontrollen durch und bereiten die Ergebnisse auf
- Readers: beurteilen auf Basis des Vertrauens, dass Kernergebnisse unabhängig in einem anderen Labor repliziert wurden, ob die Evidenz die Behauptungen trägt, und zitieren reproduzierbare Wissenschaft
- Als Einstieg wäre ein Pilotprojekt bei einem Journal wie eLife möglich, aber man muss nicht darauf warten, dass traditionelle Verlage den ersten Schritt machen
- Eine Organisation wie Review Commons könnte auf bioRxiv gute Kandidaten finden, gemeinsam mit den Autorinnen und Autoren Gutachter für die Replikation gewinnen und dann das gesamte Paket bei einem Journal einreichen; das wäre ein schnellerer Weg
- Wenn Wissenschaftlerinnen und Wissenschaftler in realen Publikationen Papers sehen, die durch Peer Replication validiert wurden, wird es schwerer, Arbeiten ernst zu nehmen, die nur durch Peer Review gegangen sind, und bessere Wissenschaft konkurriert dann mit nicht replizierten Befunden
1 Kommentare
Meinungen auf Hacker News
Ich weiß nicht, ob dieser Ansatz in der Praxis funktionieren kann, und Nichtwissenschaftler scheinen den Aufwand, alle Papers zu reproduzieren, stark zu unterschätzen.
Je nach Fachgebiet kann es Monate dauern, ein einzelnes Paper sauber zu reproduzieren. Man muss zwar nicht die Irrwege des ursprünglichen Papers wiederholen und kann eventuell Proben erhalten, um die Vorbereitung zu verkürzen. Wenn es aber beim ersten Versuch nicht klappt, muss man das Experiment debuggen und prüfen, ob keine Fehler passiert sind, was den Zeitaufwand stark erhöht.
Außerdem bringt diese Arbeit den reproduzierenden Wissenschaftlern kaum Vorteile, sondern kostet nur Geld und Zeit. Wenn jemand genug Interesse hat, auf dieser Forschung aufzubauen, wird er ohnehin versuchen, sie zu reproduzieren; gelingt das, stützt das Folgepaper das ursprüngliche Paper indirekt, auch wenn es selbst kein direktes Reproduktionspaper ist.
Ein großes Problem ist allerdings, dass gescheiterte Folgeexperimente normalerweise nicht veröffentlicht werden. Das lässt sich aber nicht einfach dadurch lösen, dass man sagt, man solle negative Ergebnisse veröffentlichen. Ein belastbares negatives Ergebnis zu erzeugen erfordert viel mehr Arbeit, als ein Experiment auszuprobieren und es einzustellen, wenn es nicht vielversprechend aussieht.
Selbst wenn etwas reproduziert wurde, wird es möglicherweise nicht veröffentlicht, wenn andere Bedingungen nicht passen. Angenommen etwa, ein Team sucht nach einem innovativen neuen Material zur Lösung eines komplexen Engineering-Problems und stößt auf einen Stoff, der in den 1980er-Jahren einmal synthetisiert und nie reproduziert wurde. Weil dieser Stoff die gewünschten Eigenschaften zu haben scheint, synthetisieren sie ihn; die Struktur stimmt, aber die erhofften Eigenschaften fehlen. Dann werden sie wahrscheinlich kein Paper darüber schreiben, sondern zum nächsten Kandidaten übergehen. Selbst wenn mehrere Teams gleichzeitig dasselbe tun, erfahren die Nachfolgenden nichts davon.
„Ein einzigartiges Merkmal des Begutachtungsprozesses ist, dass alle in einem Paper berichteten Daten und Experimente vor der Veröffentlichung erfolgreich im Labor eines Mitglieds des Editorial Boards wiederholt werden müssen, um die Reproduzierbarkeit zu bestätigen.“
https://en.wikipedia.org/wiki/Organic_Syntheses
Zum Beispiel könnte man die Zahl der Papers um x senken und stattdessen x Reproduktionen verlangen, sodass Forschende in ihrem Spezialgebiet Reproduktionsleistungen vorweisen. Außerdem braucht es Förderlinien für Reproduktionsforschung, und diese müssten in ein unabhängiges System überführt werden. Auch Mechanismen wie Zufallszuweisung wären nötig. Reproduktionen müssen mit demselben Wert wie Originalforschung bewertet werden.
Kleinere Departments auf R2-Niveau könnten sich zu Reproduktions-Hubs wandeln. In Biologie, Chemie und Teilen der Psychologie könnte das einfacher sein als in der Teilchenphysik. Man sollte mit Bereichen beginnen, in denen die Reproduktionskosten vergleichsweise niedrig sind, und die Details ausarbeiten. In manchen Fällen ist das durchaus machbar, in manchen Fachgebieten könnte es dauerhaft schwierig bleiben.
In der Robotik gibt es viel zu viele Papers, die drei oder vier bereits bekannte Algorithmen oder Machine-Learning-Modelle nehmen und auf Standardhardware anwenden. Wer in dem Gebiet ausgebildet ist, kann die Ergebnisse fast vorhersagen. Für beliebte Problemräume wie Prothesen, Drohnen zur Waldbrandüberwachung oder Museumsführer-Roboter erscheinen jeden Monat Hunderte Varianten, weit mehr, als potenziell tatsächlich nützlich sein könnten.
Für Arbeiten, die wirklich wichtige Entdeckungen behaupten, könnte ein separates Verfahren nötig sein. Ich weiß nicht genau, wie das aussehen sollte, aber ehrlich gesagt müsste vielleicht schon die Zahl der Papers selbst sinken.
Zweck wissenschaftlichen Publizierens ist es, neue Ergebnisse mit anderen Wissenschaftlern zu teilen, damit andere darauf aufbauen oder ihre Richtigkeit überprüfen können.
Ein Element der „Anerkennung von Leistungen“ gab es dabei schon immer, doch aus der Perspektive, den wissenschaftlichen Fortschritt zu maximieren, ist tatsächlich Kommunikation entscheidend.
Früher war Publizieren eher ein informeller Prozess: Man ließ Briefe zirkulieren oder veröffentlichte bei großen Ergebnissen auf eigene Kosten ein Buch. Später gründeten Verlage formale Journals, und einige Journals erhielten so viele Einreichungen, dass sie nicht mehr allein nach Reputation veröffentlichen oder alles prüfen konnten. Beliebte Journals begannen, grundlegende redaktionelle Standards anzuwenden, um miserabel geschriebene Arbeiten und offensichtlichen Spam auszusortieren; da Herausgeber nicht in allen Fachgebieten Experten waren, baten sie Freiwillige um Hilfe. Das ist Peer Review.
Später verlangten Bürokraten eine Möglichkeit, die Produktivität von Wissenschaftlern zu messen, um Budgets und Beförderungen zu verteilen, und nahmen Publikationen in einigen angesehenen Journals als Kennzahl. Dadurch wurde der eigentlich nützliche Prozess des „Teilens von Ergebnissen“ in den Augen Außenstehender zu einem Prozess, bei dem man akademische Punkte sammelt; und Publizieren selbst wirkte nicht mehr wie ein Zwischenschritt im Validierungsprozess von Ergebnissen, sondern wie das Endziel.
Manche Außenstehenden missverstehen diesen Prozess zudem und werden wütend darüber, dass Zwischenergebnisse falsch sein können. Statt zu akzeptieren, dass der Kern des Publizierens darin besteht, Ergebnisse breit zu teilen, um ihre Überprüfbarkeit zu erhöhen, oder bessere Beförderungskennzahlen zu entwickeln, versuchen sie, den zentralen Austauschprozess zu blockieren, ineffizienter zu machen und Reichweite sowie Geschwindigkeit der Verbreitung von Publikationen zu verringern. Dieses Durcheinander ließe sich sehr viel klüger handhaben.
Hinzu kommt als Variable, wie die nichtwissenschaftliche Öffentlichkeit Informationen aus der akademischen Welt aufnimmt. Früher war die akademische Welt eine relativ geschlossene Gruppe, die Wissen um seiner selbst willen verfolgte, daher war dieses Problem weniger wichtig. Neu ist, dass die Gesellschaft sich auf die Vorstellung versteift hat, Staatsführung und Verwaltung müssten sich stark nach den Ergebnissen und Einschätzungen der Wissenschaft richten.
Die Begeisterung für evidenzbasierte Politik trifft gleich dreifach. Dass Forschungsergebnisse Politik beeinflussen können, kann die Anreize dafür verändern, wie Wissenschaft überhaupt betrieben wird. Dass akademische Ergebnisse externe Wirkung haben, verändert auch, welche Wissenschaft betrieben wird, und kann unlautere Akteure anziehen. Wenn der Einfluss größer wird, zieht eine schlecht informierte Öffentlichkeit aus noch vorläufigen oder nicht replizierten Ergebnissen unausgereifte Schlüsse. Auch enge oder schwache Studien können übermäßige Aufmerksamkeit bekommen, wenn sie wie ein guter Knüppel wirken, mit dem man den Gegner schlagen kann.
Ob man es mag oder nicht: Forschende werden am Ende nach Publikationen bewertet, und ich glaube, kaum jemand missversteht das. Das Problem ist, dass dieser Anreiz schlecht ist. Neue Publikationskategorien zu schaffen, die Replikation verlangen, mag in einigen Bereichen wie Optik/Photonik möglich sein, dürfte aber in Feldern wie der experimentellen Teilchenphysik nahezu unmöglich sein.
In rein intellektuellen Bereichen wie Mathematik, theoretischer Physik oder Philosophie ist ein solches System wahrscheinlich gar nicht nötig. Machine Learning liegt dazwischen: Theoretisch wirkt Replikation einfach, doch etwa das Training von Baselines für große Sprachmodelle kann viel zu teuer werden.
Auch die öffentliche Wahrnehmung, nach der ein in einem angesehenen Journal erschienener Artikel als gesicherte Wahrheit gilt, hilft nicht.
Publizieren erfüllt heute nicht mehr dieselbe Rolle wie vor dem Internet. Eine überzeugende Arbeit zu schreiben und veröffentlicht zu bekommen, ohne Forschung betrieben zu haben, ist heute eine Kleinigkeit: http://theatlantic.com/ideas/archive/…
Peer Review ist kein Mechanismus, der Replikation garantieren soll, sondern einer, der Lesbarkeit und Verständlichkeit eines Papers sicherstellen soll.
Manche Experimente kosten Milliarden Dollar in der Durchführung, daher ist es unmöglich, auf jedes Paper eine „Peer-Replikation“ anzuwenden.
Stattdessen könnte man Metadaten zu replizierten Papers hinzufügen.
Konferenzen können anders sein, aber ich verstehe Peer Review eher als Prüfung, ob Methodik, Umfang, Behauptungen, Ausrichtung, Schlussfolgerungen und Relevanz angemessen und vertrauenswürdig sind.
Wenn sich jemand die Zeit nimmt, etwas zu replizieren, das nur in ein oder zwei Papers beschrieben wurde, ist das für die Community wertvoll und sollte gefördert werden. Noch besser, wenn es als Gelegenheit für Doktoranden dient, ihre Fähigkeiten zu schärfen. Es ist nicht glamourös und auch nicht völlig neu, aber nützlich und wichtig.
Solche Studien sollten in regulären Journals erscheinen. Wenn nur spezielle Replikationsjournals entstehen, bekommen sie miserabele Impact Factors, und niemand kümmert sich darum.
Es gibt immer Leute, die etwas für unangemessen halten und gar nichts tun, wenn es keine 100-prozentige Lösung ist. Obwohl sich gezeigt hat, dass Peer Review unzureichend ist, klammern sich die Leute verzweifelt daran. Einige Disziplinen sollten für alles Replikation verlangen. Ich will nicht ausdrücklich Psychologie oder die Sozialwissenschaften allgemein nennen, aber die Replikationsausfallrate in manchen Bereichen liegt auf einem nicht akzeptablen Niveau.
Die Wertmaßstäbe müssen sich ändern: Replikation sollte als gültiger Weg zu Tenure und Beförderung anerkannt und zu einem Pflichtbestandteil der Promotion gemacht werden.
In beiden Fällen stand in den Gutachten sinngemäß: „Das Paper ist sehr gut geschrieben, sogar für Studierende im Grundstudium lesbar.“ Peer Review garantiert am Ende Gatekeeping.
Eine Zeit lang gab es auf Reddit den Spruch „Kein Foto, nicht passiert“
Zumindest in der Informatik/im Machine Learning brauchen wir Kein Code, nicht passiert. Paper sind vage, und selbst wenn es Formeln gibt, sind manchmal nicht alle Komponenten definiert.
Peer-Replikation in diesem Feld ist eine einfache, kostengünstige Aufgabe, die anderen Wissenschaftsbereichen als Vorbild dienen könnte.
Bei Dingen wie aktuellen Durchbrüchen in der Alzheimer-Forschung ist Replikation nützlich, und wegen des kommerziellen Interesses wird sie ohnehin stattfinden. Aber bei gewöhnlichen Nischenthemen gibt es nicht für jede Studie Geld für Replikation. Nur weil Forschung in Informatik/KI leichter zu reproduzieren ist, lässt sich das nicht auf jede Forschung ausweiten.
Deshalb gibt es Peer Review. Es ist ein Mechanismus, um unplausible oder aufwandsarme, wenig relevante Arbeiten herauszufiltern, nicht als Betrugsprävention konzipiert.
Heute, mit GitHub, GitLab usw., sollte das Standard sein. Wenn ein Paper, das eine Implementierung behandelt, keinen Code bereitstellt, ist es meistens wahrscheinlich Unsinn.
Mir gefällt die Idee, „Peer Review“ in zwei Teile aufzuteilen und sich auf ein Zitationskriterium zu einigen, nach dem ein Paper reproduziert werden muss, sobald ein Fachgebiet eine bestimmte Zahl an Zitierungen überschreitet. Journals sollten auch einen eigenen Abschnitt für Replikationsversuche haben.
In manchen Bereichen braucht man neben Fachwissen für gute Experimente auch eine gewisse Fertigkeit, die man „Hand“ nennt. Zum Beispiel beim Umgang mit luftempfindlichen Verbindungen oder mit kondensierten und kristallinen Materialien. Für die Experimente meiner Dissertation habe ich Teile der Ausrüstung selbst von Hand gebaut.
Manchmal braucht man auch spezielle Einrichtungen. Für mein Promotionsprojekt wurde Ausrüstung im Wert von ungefähr 500.000 Dollar verwendet, und ein Teil der Geräte, die ich benutzt habe, war bis zu meinem Abschluss bereits eingestellt und nicht mehr erhältlich.
Ich denke, ein realistischeres Vorgehen wäre, Reproduzierbarkeits-Review und die Einreichung einer Methodik-Karte für jedes Paper zu verlangen.
Ersteres wäre ein Hin-und-her-Prozess, bei dem Gutachter auf Basis des Papers Fragen stellen und Punkte prüfen, mit dem Ziel, die Ergebnisse zu reproduzieren, ohne tatsächlich eine Reproduktion zu verlangen. Das ist in der Regel nützlich, um Details aufzudecken, die Autoren auslassen, weil sie annehmen, dass alle im Feld sie kennen. Ich habe tatsächlich Biologie-Promovierende gesehen, die Monate damit verschwendet haben, experimentelle Details aufzuspüren, die nicht im Paper standen.
Letzteres wäre das Ergebnis des Ersteren. Statt einen langen Anhang in den Haupttext zu packen, würde man gemeinsam mit den Peer-Reviewern ein separates Dokument erstellen, das Experimente und Methodik sorgfältig behandelt, und die Namen der Reviewer daraufsetzen, damit man nicht schlampig darüber hinweggehen kann.
Ich habe viel zu viele Paper gelesen, in denen für die Reproduktion wichtige Informationen fehlten. Im Machine Learning/Reinforcement Learning habe ich, wenn Code vorhanden war, unzählige Implementierungsdetails gefunden, die im Paper nicht standen. Es gibt sogar Ergebnisse, dass solche Details tatsächlich über Erfolg oder Scheitern bestimmter Algorithmen entscheiden [1]. Ich habe auch Fälle gesehen, in denen zentrale Details nur in Code-Kommentaren standen.
Noch schlimmer war ein Paper, das behauptete, eine Methode auf einem Benchmark evaluiert zu haben; bei der Überprüfung stellte sich heraus, dass die betreffende Aufgabe in diesem Benchmark gar nicht existierte. Sie hatten den Benchmark geforkt, ihre eigene Aufgabe erstellt und das nicht klar offengelegt [2].
Solche Dinge lassen einen das Vertrauen in bestimmte wissenschaftliche Richtungen verlieren. Ich habe einige Junior-Forschende gesehen, die zu dem Schluss kamen, das ganze Haus wirke wie ein Kartenhaus, und die Forschung komplett aufgegeben haben.
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
Wenn man das für zu umständlich oder zu teuer hält, sollte man sich daran erinnern, dass Verlage Rekordgewinne einfahren. Die Ressourcen sind bereits vorhanden.
https://youtu.be/ukAkG6c_N4M
Wenn ich heute Manuskripte begutachte, achte ich viel stärker darauf, ob genug Informationen vorhanden sind, um ein Experiment oder eine Simulation zu reproduzieren. Es ist in Ordnung, wenn Paper mit falscher Interpretation erscheinen. Andere können das im Zuge ihrer eigenen Forschung herausfinden. Aber Paper, deren Ergebnisse nicht reproduzierbar sind, sollten nicht veröffentlicht werden dürfen.
Inhalte, die für den Experimental-Abschnitt zu lang sind, gehören in elektronische Zusatzinformationen. Allerdings wäre es gut, wenn die Zusatzinformationen beim Herunterladen des PDFs an das Paper angehängt wären. Sie separat aufzuspüren ist wirklich lästig. Es gibt auch Felder, etwa die Charakterisierung von Materialeigenschaften, in denen Zusatzinformationen mit vielen Daten und Details üblich sind.
Große Datensätze sollten in Repositories oder Datensatz-Journals gehen. Dann werden die Methoden weiterhin peer-reviewt, und die Datensätze erhalten einen DOI, wodurch sie leichter wiederverwendbar sind. Außerdem ist es eine gute Möglichkeit, am Ende der Promotion die Zahl der Paper eines Studierenden zu verdoppeln.
Einen Benchmark zu forken, die eigene Aufgabe zu erstellen und das nicht klar offenzulegen, ist einfach bösartig.
Auch wenn sie schwer oder unmöglich zu reproduzieren ist, bleibt beobachtende Wissenschaft dennoch ein Teilbereich der Wissenschaft
Man denke an das 2005 veröffentlichte erste Foto eines lebenden Riesenkalmars in seinem natürlichen Lebensraum: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
Wer würde ernsthaft meinen, das hätte nicht veröffentlicht werden dürfen, bis jemand anderes das Ergebnis reproduziert hat?
Heißt das, Ergebnisse klinischer Arzneimittelstudien dürften ebenfalls erst veröffentlicht werden, wenn sie reproduziert wurden?
Wie reproduziert man „A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign“, wofür ein Stern, das transneptunische Objekt 486958 Arrokoth und eine bestimmte Region in Argentinien präzise ausgerichtet sein mussten: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Wie reproduziert man die Ergebnisse eines Pluto-Vorbeiflugs oder eines Hubschrauberflugs auf dem Mars?
Es gibt auch den Aufsatz „Insights from a laboratory fire“, den ich über „In The Pipeline“ kennengelernt habe: https://www.nature.com/articles/s41557-023-01254-6
Darin geht es darum, dass Brände in Chemielaboren relativ häufig, aber unterberichtet sind und die Folgen tödlich sein können. Was hat in diesem Fall Peer-Reproduktion damit zu tun?
In solchen Fällen bedeutet Reproduktion, dass jemand anderes diesen Code auf diesem Datensatz ausführen und zu denselben Ergebnissen kommen kann
Müssen Labore ihre Softwareumgebungen verbessern und neue Tools lernen? Müssen sie altes Geheimwissen aufgeben? Genau darum geht es
Das Problem ist nicht die Veröffentlichung neuer Entdeckungen, sondern der Mangel an Anreizen, sie nach der Veröffentlichung zu überprüfen
Eine neue Beobachtung eines Riesenkalmars ist weiterhin sehr wertvoll, auch wenn sie nicht mehr neu ist. Deshalb sollten neue Beobachtungen gefördert werden
Pluto-Vorbeiflüge oder Mars-Hubschrauber sind eigentlich auch keine guten Beispiele. Man müsste eine weitere Sonde schicken, und Fälle sowie Daten zu Fluggeräten in der Marsatmosphäre werden künftig wahrscheinlich reichlich vorhanden sein. Simulationen kann man ebenfalls in enormem Umfang durchführen. Auf Pluto wird man weiterhin Spektrometer und diverse Instrumente richten
Selbst in solchen Fällen kann es die Robustheit erhöhen, wenn verschiedene Teams die Daten unabhängig analysieren, selbst wenn sie aus derselben Versuchsanordnung stammen. Nicht alles ist schwarz-weiß. Beobachtungen liegen auf einem Spektrum; manche sind deutlich verlässlicher als andere, und Reproduktion ist ein Faktor dabei
Im Fall von Laborbränden braucht man mehr als einen Fall, um zu erkennen, welche Phänomene aus den Besonderheiten eines bestimmten Labors entstehen. Man braucht so etwas wie statistische und Faktorenanalysen. Reproduktion bedeutet dabei nicht, absichtlich reale Labore in Brand zu setzen
Es ist wie bei der Forschung zu Autounfällen. Man tötet nicht absichtlich Menschen, braucht aber fortlaufend neue Arbeiten auf Basis realer Vorfälle, um frühere Beobachtungen zu bestätigen oder zu widerlegen
In einer perfekten Welt würde man auch die Datenerhebung reproduzieren, aber wir leben nicht in einer perfekten Welt
Bei Arzneimittelstudien ist es genauso. Unternehmen behaupten, die Rohdaten seien Geschäftsgeheimnisse, deshalb gibt es ständig Kämpfe um den Zugang zu den Rohdaten klinischer Studien. Unabhängige Überprüfung ist daher sehr teuer; es wäre aber aus meiner Sicht viel besser, wenn die FDA die Offenlegung von 100 % der erhobenen Daten verlangen würde, statt nur redigierte Schlussfolgerungen und einige unterstützende Materialien
Zum Beispiel sagte die FDA, die Veröffentlichung der Rohdaten der COVID-Impfstoffstudien werde Jahrzehnte dauern. Warum sollte das so sein? Und das auch erst, nachdem es gerichtlich erzwungen wurde
Während meines Informatikstudiums im Graduiertenprogramm verbrachte ich viel Zeit mit den Implementierungsdetails von Papers, stellte aber immer wieder fest, dass die Papers nicht alle Nachteile und Fehlschläge der Methode erwähnten. Es gibt durchaus großartige Ausnahmen
Wegen des Drucks publish or perish gibt es in der Forschung kaum Ehrlichkeit. Zum Glück gibt es auch Menschen, die ihre Arbeit transparent offenlegen, aber insgesamt steckt die Wissenschaft in einem Meer aus Forschung voller mangelnder Transparenz und Reproduktionsfehler
CI/CD zwingt dazu, genau in Code festzuhalten, wie etwas gebaut und deployed wird, damit es in eine Produktionsumgebung gelangen kann. Docker und virtuelle Maschinen umgehen dieses Problem, indem sie ein „mein Rechner“ bereitstellen, das sich leicht kopieren und teilen lässt
Im Bereich der Programmiersprachen haben Konferenzen begonnen, Autorinnen und Autoren zu erlauben, paketierte Artefakte einzureichen. Meist handelt es sich um Quellcode, Eingabedaten, Trainingsdaten usw., und in der Regel werden sie nach der Begutachtung des Papers separat bewertet.
Artefakte werden normalerweise von einem eigenen Komitee bewertet, das meist aus Doktorandinnen und Doktoranden besteht, und wie immer ist das alles ehrenamtlich. Selbst mit expliziten Richtlinien ist es schon schwierig genug, denselben Code in einer anderen Umgebung auszuführen und dieselben Ergebnisse zu erhalten. Wenn die „Reproduktion“ einer Softwaretechnik verlangt, dass ein anderes Team sie von Grund auf neu implementiert, wirkt das nicht praktikabel.
Ich kann mir gar nicht vorstellen, wie schwierig es wäre, Anleitungen so zu schreiben, dass andere Labore Experimente an der vordersten Front der Physik, Chemie oder Biologie erfolgreich reproduzieren können. Es geht nicht nur um Spezialgeräte, sondern um das, was an der Grenze der Wissenschaft passiert, wo Spitzenforschung betrieben wird.
Solche Vorschläge wirken, als kämen sie von Nichtwissenschaftlern, die noch nie ein Peer-Review-Verfahren in irgendeinem Fach erlebt haben. In der Realität läuft es nicht so.
In den „harten“ Wissenschaften scheint Reproduktion oft gar nicht so schwierig zu sein. LK-99 ist ein interessanter Fall: Obwohl man sich weitgehend einig war, dass das Paper hastig geschrieben war und Details fehlten, schienen Leute das Experiment erfolgreich zu reproduzieren. Das war Spitzenwissenschaft, aber die Reproduktion selbst war nicht das Problem. Der Großteil der Wissenschaft ist nicht der LHC.
Das eigentliche Reproduktionsproblem findet man in den eher „weichen“ Bereichen. Dort geht es nicht nur um Zufälligkeit oder experimentelle Schwierigkeit. Man sieht häufig Paper oder sogar ganze Felder, die prinzipiell nicht reproduzierbar sind. Forschende denken nicht, dass andere ihre Arbeit reproduzieren können sollten, oder versuchen manchmal sogar, Reproduktion zu verhindern. Die häufigste Methode ist, Daten auf nicht reproduzierbare Weise zu sammeln und sie absichtlich nicht offenzulegen; manchmal liegt das Problem auch im Studiendesign selbst.
Angesichts dessen ist die naheliegendste Schlussfolgerung, dass sie keine Reproduktionsversuche wollen, weil sie wissen, dass ihre Behauptungen möglicherweise nicht wahr sind.
Wenn Peer Reviewer oder Journals also schon sehr grundlegende Dinge prüfen würden, etwa ob eine Behauptung zumindest prinzipiell reproduzierbar ist, wäre das ein guter Anfang. Es blieben immer noch Paper übrig, die sich gut reproduzieren lassen, deren Schlussfolgerungen aber falsch sind; Paper mit unlogischer Methodik; und Paper, die so offensichtlich sind, dass sie sich reproduzieren lassen. Aber es gibt viel zu viele leicht zu pflückende Früchte.
Peer Review ist die richtige Lösung für das falsche Problem: https://open.substack.com/pub/experimentalhistory/p/science-...
Reproduktion ist ein wertvolles Ziel, aber es braucht Karriereanreize. Meiner Ansicht nach sollte in den meisten Programmen die Reproduktion von Forschung Teil des Curriculums sein. Das könnte anstelle eines Papers ein Schritt auf dem Weg zur Promotion sein.
Die Unterscheidung zwischen starken und schwachen Verbindungen ähnelt auch dem Umstand, dass manche Kulturen Stimulanzien missbilligen, während andere Entspannungsmittel missbilligen.