Offene, rigorose und reproduzierbare Forschung: Ein Handbuch für Praktiker (2021)

 (stanforddatascience.github.io)
2 Punkte von GN⁺ 2023-11-14 | 1 Kommentare | Auf WhatsApp teilen
  • Wenn Forschung offen, transparent und reproduzierbar konzipiert und geteilt wird, steigen Reichweite, Überprüfbarkeit und Möglichkeiten zur Reanalyse der Ergebnisse
  • Kostenpflichtige Paper, nicht öffentlicher Code, unzugängliche Daten und nicht mehr gepflegte Software erschweren es anderen Forschenden, den tatsächlichen Analyseprozess nachzuvollziehen
  • Mangelhaftes Experimentdesign und schwache Analysen führen dazu, dass sich fehlerhafte Befunde in der Literatur ansammeln, und erhöhen für neue Forschende den Aufwand, verlässliche Ergebnisse herauszufiltern
  • Offenlegung und Reproduzierbarkeit bedeuten zusätzlichen Aufwand und stoßen an Grenzen der Anreizstrukturen, helfen aber, Fehler früh zu entdecken und die Vertrauenswürdigkeit der Forschung zu erhöhen
  • Das Handbuch gliedert Forschungsdesign, Datenanalyse und -berichterstattung sowie die Veröffentlichung von Forschungsmaterialien in modulare Praktiken, sodass man mit den jeweils benötigten Teilen beginnen kann

Warum Offenheit und Reproduzierbarkeit nötig sind

  • Wenn Forschung nicht auf offene, transparente und reproduzierbare Weise durchgeführt und geteilt wird, sinkt ihr Nutzen
  • Erscheint ein Paper über einen Publikationsweg, der nur kostenpflichtigen Zugang bietet, ist der Kreis der Personen begrenzt, die die Forschungsergebnisse sehen können, und auch die potenzielle Reichweite der Ergebnisse wird kleiner
  • Viele Analysen sind so komplex, dass es nahezu unmöglich ist, alle Entscheidungen und Verfahren allein im Paper selbst zu beschreiben
    • Ohne begleitenden Code ist es für andere schwer, sicher zu sein, was genau durchgeführt wurde
  • Selbst wenn Code veröffentlicht ist, können unzugängliche Daten oder nicht mehr gepflegte Software es erschweren, frühere Forschung zu reproduzieren oder neu zu analysieren
  • Wenn sich frühere Forschung nicht leicht neu analysieren lässt, wird es für die Community schwieriger, alternative Analysepfade zu erkunden, Datensätze zu kombinieren oder Experimente auf neue Umgebungen zu verallgemeinern

Die Kosten schlechter Forschungspraxis

  • Wenn Experimentdesign und Analyse nicht mit ausreichender Sorgfalt angegangen werden, ist es wahrscheinlicher, dass sich fehlerhafte Befunde in der Literatur ansammeln
  • Je mehr schwer vertrauenswürdige Ergebnisse es gibt, desto mehr Zeit müssen neue Forschende aufwenden, um ihr Untersuchungsfeld zu verstehen und tatsächlichen Fortschritt zu erzielen

Warum Forschende bei Offenlegung und Reproduzierbarkeit zurückhaltend sind

  • Offene, transparente und reproduzierbare Forschung erfordert zusätzliche Arbeit, und die heutigen Anreizstrukturen belohnen solche Bemühungen nicht immer
    • Allerdings gibt es in mehreren Disziplinen Veränderungen, und manche Communities schätzen solche Arbeit hoch ein
    • Fehler können teuer sein, und Offenheit hilft, Fehler zu vermeiden
  • Manche Daten können wegen Datenschutz, Urheberrecht oder anderer Erwägungen nicht legal geteilt werden
    • Forschung mit solchen Daten kann für die Welt im Allgemeinen weniger nützlich sein als Forschung mit offeneren Daten
    • Dennoch kann eine transparente Offenlegung der durchgeführten Analysen, der Datenerhebungsprotokolle und von Methoden wie Preregistration das Vertrauen in die Forschung erhöhen
  • Manche sorgen sich, dass beim Veröffentlichen von Daten und Code Fehler oder geringe Codequalität sichtbar werden könnten
    • Diese Sorge ist verständlich, geht aber meist in die falsche Richtung
    • Fehler sollten besser früh entdeckt werden, und die meisten Menschen bewerten die Veröffentlichung an sich positiv, unabhängig von der Codequalität
    • Code von Anfang an mit Blick auf eine spätere Veröffentlichung zu teilen, hilft auch bei seiner Verbesserung
  • Viele wissen zudem nicht, wo sie anfangen sollen
    • Bestehende Leitfäden zu Open Science und Reproduzierbarkeit liegen oft als vollständige Bücher oder umfangreiche Materialsammlungen vor, was die Hürde erhöhen kann, sich die gesamte Philosophie und einen umfassenden Forschungsansatz anzueignen

Ansatz des Handbuchs

  • Dieses Handbuch behandelt Wege, Forschung nicht auf einmal vollständig umzustellen, sondern sie schrittweise auf verschiedene Arten offener, transparenter und reproduzierbarer zu machen
  • Jeder Schritt kann für sich genommen bereits einen gewissen Nutzen bringen
  • Zwar gibt es fachspezifische Nuancen und Anforderungen, doch die meisten Bereiche, die mit Daten und statistischer Analyse arbeiten, können viel voneinander lernen
  • Das Format zielt auf Folgendes ab
    • Modular: Einzelne Ideen können separat genutzt oder kombiniert werden
    • Praxisnah: Fokus auf umsetzbare Praktiken mit großer Wirkung
    • Allgemein: Anwendbar auf jedes Feld, das mit Daten und statistischer Analyse arbeitet
    • Kompakt: Für beschäftigte Wissenschaftlerinnen und Wissenschaftler, die gerade keine Zeit für einen vollständigen Kurs haben

Drei Hauptabschnitte

  • Der erste Abschnitt behandelt sorgfältiges Forschungsdesign, um sicherzustellen und zu zeigen, dass Ergebnisse und Schlussfolgerungen valide und nützlich sind
    • Experimentparameter werden sorgfältig festgelegt, etwa indem mittels Power-Analyse eine geeignete Stichprobengröße geschätzt wird
    • Explorative und konfirmatorische Forschung werden unterschieden
    • Statistische Analysen werden im Voraus geplant
    • Alle relevanten Daten werden erhoben, damit ein Vergleich mit früherer Forschung möglich ist
    • Zusätzliche Elemente wie Preregistration, Vorbereitung auf potenzielle Probleme und die Berücksichtigung ethischer Implikationen werden einbezogen
  • Der zweite Abschnitt behandelt Best Practices für Datenanalyse und Ergebnisberichterstattung
    • Notwendige Entscheidungen und Überlegungen vor dem Umgang mit Daten
    • Vorab erstellter Plan für die statistische Analyse
    • Geeignete Datengenerierung
    • Transparente Datenaufbereitung
    • Aussagekräftige Datenvisualisierung
    • Zusammenfassung von Daten mithilfe geeigneter Statistik
    • Datenanalyse, die häufige Fehler vermeidet
    • Zusätzliche Überlegungen für die medizinische Forschung
    • Transparente und umfassende Berichterstattung statistischer Analysen
    • Beispiele aus der publizierten Literatur, die die Prinzipien des Manuals veranschaulichen
  • Der dritte Abschnitt behandelt, wie alle relevanten Forschungsmaterialien öffentlich zugänglich gemacht werden können
    • Open Data: Rohdaten für weitere Forschung und Replikationen veröffentlichen
    • Open Source Code: Analyse-Pipelines transparent machen und anderen ermöglichen, sie weiterzuverwenden oder zu überprüfen
    • Reproducible Environments: Nicht nur Daten und Code, sondern auch eine Umgebung bereitstellen, in der Analysen leicht erneut ausgeführt werden können
    • Open Publication Models: Wissenschaftliche Ergebnisse im Zusammenhang mit der Forschung für alle sichtbar machen
    • Documenting Processes and Decisions: Nicht nur klären, was wie gemacht wurde, sondern auch warum – etwa über Mechanismen wie öffentliche Experimentnotizen

Umfang des Anhangs

  • Der Anhang behandelt unterstützende Ressourcen wie häufig gestellte Fragen, fachspezifische Überlegungen und Links zu weiterführenden Materialien

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-11-14
Hacker-News-Kommentare

  • Es ist gut, die Versionen der verwendeten Pakete zu dokumentieren, aber noch besser ist es, zusammen mit dem Code eine Umgebungsbeschreibung bereitzustellen, bei der die Abhängigkeitskette vollständig fixiert ist, etwa wie bei einem Guix-Channel oder einem Nix flake
    Docker kann zwar ebenfalls feste Versionen erzwingen, aber ein einziges apt update kann alles komplett kaputtmachen
    Nix und Guix stellen nicht nur eine Umgebung bereit, in der sich Code mit denselben Tools und Versionen ausführen lässt, sondern ermöglichen auch die Erstellung teilbarer Container-Images

  • Es ist wirklich großartig, dass eine normalerweise teure Universität wie Stanford Lernmaterialien kostenlos bereitstellt

  • Hat das jemand ausprobiert? Ist es gut?

    • Es wirkt wie gutes Einführungsmaterial, um es Menschen zu erklären, die neu in dieses Feld einsteigen
      Unser Team ist gerade dabei, von der Software-Seite in die Data Science zu wechseln, und dieses Material scheint geeignet, diese Lücke zu überbrücken

  • Auf der Seite ist https://stanforddatascience.github.io/best-practices/index.h... eingebettet

  • Dieses Handbuch lässt sich als Leitfaden zusammenfassen, der Best Practices vorstellt, um Wissenschaft offener, transparenter und reproduzierbarer zu machen