Terence Tao: Ablehnung eines Papers durch ein Journal

• Auch der weltbekannte Mathematiker Terence Tao erhielt eine Ablehnung, weil Paper und Journal nicht zusammenpassten; er akzeptierte die Einschätzung weitgehend und reichte es erneut bei einem passender erscheinenden Journal ein
• Auch für Tao sind Paper-Ablehnungen keine seltene Ausnahme, sondern kommen im Schnitt ein- bis zweimal pro Jahr vor; Studierende und Kolleginnen und Kollegen in seinem Umfeld sind oft überrascht, dass seine Ablehnungsquote nicht null ist
• In der Wissenschaft sind Fälle wie die Annahme zur Veröffentlichung oder ein gelungener Beweis viel sichtbarer, sodass gewöhnliche Misserfolge sich so anfühlen können, als passierten sie nur einem selbst
• In der Vergangenheit gab es auch den Fall, dass sowohl ein Paper, das ein Problem mit epsilon loss nahezu löste, als auch das spätere Paper mit dem vollständigen Beweis aus unterschiedlichen Gründen von demselben renommierten Journal abgelehnt wurden
• Praktischer ist es, eine Journal-Ablehnung nicht als persönliche Bewertung zu verstehen, sondern das Paper anhand der im Review angesprochenen Punkte zu überarbeiten und zu einem anderen Journal zu wechseln

---

Diese Ablehnung und die erneute Einreichung

• Terence Tao machte öffentlich, dass eines seiner eingereichten Paper von einem Journal abgelehnt wurde
• Das Schreiben des Journals war höflich formuliert: Das Paper sei interessant, passe aber nicht gut zu diesem Journal
• Tao stimmte dieser Schlussfolgerung im Großen und Ganzen zu und reichte das Paper erneut bei einem anderen Journal ein, von dem er hofft, dass es besser passt

Gewöhnliche Misserfolge, die in der Wissenschaft kaum sichtbar sind

• Für Tao sind Paper-Ablehnungen relativ üblich; im Schnitt passieren sie ein- bis zweimal pro Jahr
• Er hat Studierenden sowie Kolleginnen und Kollegen gelegentlich davon erzählt, und manche waren überrascht, dass seine Ablehnungsquote nicht null ist
• In der Wissenschaft werden Erfolge viel häufiger geteilt als Misserfolge
  • Ein Paper wird zur Veröffentlichung angenommen
  • Ein Ergebnis wird bewiesen
• Dagegen verbreiten sich Misserfolge, die nicht kontrovers sind, kaum
  • Ein Paper wird abgelehnt
  • Ein Beweisversuch funktioniert nicht
• Durch diesen Reporting Bias wirken Menschen im Umfeld so, als erlebten sie nur Erfolge oder kontroverse Ereignisse, während sich die eigene Laufbahn mit gewöhnlichen Misserfolgen gefüllt anfühlen kann
• Tao sieht in dieser Struktur eine mögliche Ursache für das in diesem Fachgebiet verbreitete Impostor-Syndrom (impostor syndrome)
  • Allerdings wird auch das Impostor-Syndrom selbst wegen Reporting Bias und Stigmatisierung möglicherweise nicht breit geteilt
• Die öffentliche Erwähnung dieser Ablehnung ist eher eine kleine Handlung zugunsten einer genaueren Öffentlichkeit

Das Paradox aus epsilon loss und epsilon improvement

• Tao erklärt, dass einige frühere Ablehnungen im Rückblick zu kuriosen Fällen geworden sind
• Zusammen mit einem Koautor hatte er einmal eine Vermutung nahezu gelöst
  • Das Ergebnis wurde in einer Form mit epsilon loss beim zentralen Parameter etabliert
  • Sie reichten es bei einem renommierten Journal ein, es wurde aber abgelehnt, weil es die gesamte Vermutung nicht gelöst habe
  • Danach reichten sie es bei einem anderen Journal ein, und das Paper wurde angenommen
• Im folgenden Jahr bewiesen sie dieselbe Vermutung vollständig, ohne epsilon loss
  • Wieder reichten sie es bei dem renommierten Journal ein, doch diesmal wurde es mit der Begründung abgelehnt, es sei gegenüber der bestehenden Literatur nur eine epsilon improvement
  • Auch dieses Paper wurde bei einem anderen Journal eingereicht und angenommen
• Tao hat später auch in diesem selektiven Journal Paper veröffentlicht

Ablehnungen aus Sicht eines Editors

• Tao hat auch selbst als Editor die Erfahrung gemacht, aus verschiedenen Gründen ordentliche Einreichungen ablehnen zu müssen
• Er findet, dass man Ablehnungen dieser Art besser nicht persönlich nehmen sollte
• Es ist sinnvoll, ein Paper anhand der in der Ablehnung angesprochenen Punkte zu überarbeiten und es anschließend zu einem anderen Journal zu bringen

Review-Prozess und Interessenkonflikte

• Als ein Kommentar nach der Möglichkeit einer „Vergeltungsablehnung“ fragte, antwortete Tao, so etwas habe er nicht erlebt
• Im Einreichungsprozess eines Journals können emotional aufgeheizte Reaktionen nur schwer eine große Rolle spielen
  • Zwischen Review-Berichten liegen mehrere Monate
  • Zwischen Diskussionen des Editorial Boards liegen mehrere Wochen
  • Der Großteil der Arbeit findet per E-Mail und über Editorial-Plattformen statt, wenn die Editors Zeit dafür finden
• Wenn Editors oder Reviewer eine persönliche oder berufliche Beziehung zu den Autoren haben, die ihre Objektivität beeinträchtigen könnte, ist ein Rückzug (recuse) nicht ungewöhnlich
• Aus ähnlichen Gründen ist es für Autoren im Allgemeinen besser, nicht bei einem Editor einzureichen, der ein enger Freund oder professioneller Kollege ist
  • Denn dieser Editor müsste sich möglicherweise zurückziehen und das Paper an einen anderen Editor weitergeben

Taos Erfahrungen mit dem Impostor-Syndrom

• Tao antwortete, dass auch er mehrfach das Impostor-Syndrom erlebt habe
• Besonders habe er dieses Gefühl gehabt, als er den Vorsitz eines Komitees übernahm, das einen Bericht zu einem wichtigen Thema erstellen sollte, das zwar mit seinen Interessen zusammenhing, in dem er aber nicht genug Erfahrung hatte, um mit Autorität zu sprechen
• Er merkte, dass andere Komiteemitglieder deutlich mehr Erfahrung hatten als er
• Später verstand er, dass die Rolle des Vorsitzenden nicht darin besteht, den größten Teil des Inhalts selbst zu erstellen, sondern Umgebung und Struktur zu schaffen, damit andere Mitglieder ihre Gedanken und Ideen gerne einbringen

Wie er beim Einstieg in neue mathematische Gebiete Lücken ausgleicht

• Tao erlebt ähnliche Gefühle auch, wenn er in ein neues Teilgebiet der Mathematik einsteigt
• Besonders war das in Bereichen der Fall, in denen viel Algebra oder Topologie vorkommt; diese seien für ihn schon immer seine schwächsten mathematischen Gebiete gewesen
• Die benötigte Expertise gleicht er auf verschiedene Weise aus
  • Häufig steuert ein Koautor die Expertise in dem jeweiligen Bereich bei
  • Solche Kooperationen werden für Tao zu sehr wertvollen Lernerfahrungen
  • Er fragt auch alte Freunde, die bis in die Graduiertenzeit zurückreichen, nach Grundlagen
• Wikipedia, MathOverflow und in jüngerer Zeit auch große Sprachmodelle hält er ebenfalls für ziemlich gut, um Hintergrundinformationen zu bekommen
  • Die richtige Notation für Konzepte
  • Warum sie untersucht werden
  • Was die Standardreferenzen sind
• Allerdings sind solche Quellen ein Ausgangspunkt für Wissen, nicht die endgültige Antwort; Informationen sollten, soweit möglich, unabhängig verifiziert werden

[GN⁺]

Hacker-News-Kommentare

• 2005 veröffentlichte ich ein Paper, das RSA brach, indem es eine einzelne Private-Key-Operation auf einem anderen Hyperthread beobachtete, der denselben L1-Cache teilte. Es wurde vom Kryptografie-Preprint-Archiv abgelehnt, mit der Begründung: „Das ist CPU-Architektur, keine Kryptografie.“
  Es war buchstäblich die erste Veröffentlichung zu kryptografischen Angriffen über gemeinsam genutzte Caches, und Ablehnungen durch Journals ähneln Ablehnungen durch Venture Capital: Sie passieren ständig und haben nicht immer einen triftigen Grund.
  Obwohl dieses Paper nie in einem Journal erschienen ist, wurde es laut Google Scholar 971-mal zitiert.

  • Das Journal hat den Kürzeren gezogen. Wäre es erschienen, hätte das seinen h-Index und seinen Ruf deutlich gesteigert.
  • Die Zeit ist ein besserer Gutachter als irgendjemand bei irgendeinem Journal.
  • Liegt es auf arXiv? Falls nicht, bitte dort hochladen.

• Der Titel war verwirrend, weil Paper-Ablehnungen in der Forschung extrem häufig sind; genau das ist aber der Punkt, und eines der Ziele ist es, das Impostor-Syndrom zu verringern.
  Ich halte das für einen guten Ansatz. Der nächste Schritt könnte sein, dass alle erkennen, dass Forschende letztlich gewöhnliche Menschen wie alle anderen sind. Dann verschwindet vielleicht auch der Rest des Impostor-Syndroms.
  Während der Promotion ist eine Ablehnung allerdings trotz ihrer Häufigkeit ziemlich hart. Es gibt die Erwartung, innerhalb kurzer Zeit möglichst mehrere Arbeiten in angesehenen Zeitschriften zu veröffentlichen; eine Ablehnung bremst einen aus, während die Zeit weiterläuft. Es wäre gut, wenn man zumindest Teile dieses schädlichen Systems reduzieren könnte.

  • Das fällt auf, weil der Beitrag von Terence Tao stammt. Viele halten ihn für den besten lebenden Mathematiker.
    Wenn man den ganzen Text liest, sagt er genau das: Selbst Terence Tao bekommt Paper abgelehnt; das ist häufig und normal, also sollte man eine Ablehnung nicht wie das Ende der Welt behandeln.
  • Gerade weil es jemand wie Terence Tao sagt, ist es besonders wichtig. Wenn selbst einer der herausragendsten Mathematiker ein Paper abgelehnt bekommt, kann es buchstäblich jedem passieren.
  • Es ist gut zu wissen, dass auch er nicht perfekt ist, aber seine Leistungen stellen meine immer noch völlig in den Schatten, also bleibt mein Impostor-Syndrom unverändert.
  • Ich widerspreche der Aussage, Forschende seien „wie alle anderen“. Sie haben mehr als zehn Jahre lang Fähigkeiten und Wissen in einem Gebiet geschärft und sind zu Expertinnen und Experten eines Teilgebiets, manchmal sogar eines ganzen Fachs, geworden.
    In diesem Kontext sind sie keineswegs zufällige Durchschnittsmenschen.
  • Terence Tao hat Impostor-Syndrom? Eher leidet doch das Impostor-Syndrom an Terence Tao. Weißt du vielleicht nicht, wer Terence Tao ist?

• Adam Grant erzählte einmal von einer amüsanten Ablehnung im Double-Blind-Review. Einer der Gutachter schrieb als Begründung sinngemäß, „der Autor sollte sich besser mit Adam Grants Forschung vertraut machen“.

  • Die Wirklichkeit folgt der Kunst. In der Komödie Back to School von 1986 lässt Rodney Dangerfields Figur ihre College-Arbeiten von Fachleuten aus den jeweiligen Bereichen schreiben.
    Die Englischlehrerin tadelt ihn und sagt, er habe nicht nur offensichtlich betrogen, sondern auch noch den Essay von jemandem abgeschrieben, der Kurt Vonneguts Werk nicht verstehe. Natürlich war dieser Essay von Vonnegut selbst geschrieben, der im Film einen Cameo-Auftritt hat.
  • Vorweg: Ich weiß nicht genug, um zu sagen, ob das auch in der Mathematik gilt.
    Man hört solche Geschichten oft, aber es ist tatsächlich ein reales Phänomen. Berühmte Senior Researchers achten manchmal darauf, ihre eigene Arbeit nicht übermäßig zu zitieren, oder sie sind mit ihr so vertraut, dass sie sie in der Literaturübersicht nicht ausreichend berücksichtigen.
    Für andere im Feld ist es selbstverständlich, dass die Arbeiten der berühmten Person X einen erheblichen Teil des Literaturüberblicks ausmachen sollten und dass klar benannt werden muss, wie die neue Arbeit an X’ frühere, paradigmaverändernde Forschung anschließt.
    Aus verschiedenen Gründen kann es passieren, dass jemand die eigene frühere Forschung für eine bestimmte Leserschaft nicht ausformuliert, und viele Senior Scholars tun das tatsächlich häufig. Dadurch kann der Text nicht mehr von dem eines Graduate Students zu unterscheiden sein und abgelehnt werden.
  • So etwas ist ziemlich häufig. Und es ist nicht zwingend unvernünftig. Beim Schreiben eines Papers kann es passieren, dass man die eigene einschlägige Forschung nicht ausreichend kontextualisiert.
  • Als Gutachter habe ich einmal einen ähnlichen Fehler gemacht. Ein früher Entwurf der Autorin oder des Autors schien einem älteren Paper zu widersprechen, aber mir fehlte ein Teil des Kontexts.
  • Um einmal den Advocatus Diaboli zu spielen: Das menschliche Gedächtnis ist nicht perfekt, und Menschen machen Fehler. Adam Grant hätte vielleicht zur Auffrischung seine eigene frühere Forschung lesen sollen.
    Selbst wenn er nicht falsch lag, könnte es Inhalte gegeben haben, von denen er glaubte, sie veröffentlicht zu haben, die aber tatsächlich fehlten.
    Wenn man als Entwickler schon einmal furchtbaren Code gesehen, sich darüber aufgeregt und dann herausgefunden hat, wer dieses Monster geschrieben hat — nur um festzustellen, dass man es selbst war —, dann ist es genau dieses Gefühl.

• Es wirkt erfrischend, wenn Forschende ihre Misserfolge öffentlich machen. Wissenschaft besteht aus negativen Ergebnissen, Fehlern und Ablehnungen, wird aber normalerweise viel unrealistischer dargestellt.
  Manche kennen es vielleicht schon, aber hier ist der Link zum Journal of Negative Results: https://www.jnr-eeb.org/index.php/jnr

• Es ist ziemlich überraschend, dass Terence Tao immer noch von Mathematik-Journals abgelehnt wird. Trotzdem bin ich dankbar, dass er das teilt; wenn Nachwuchswissenschaftler solche Geschichten von ihm hören, lassen sie sich von Ablehnungen vielleicht weniger entmutigen.
  Ich hatte das Glück, als Postdoc mit einer der bekanntesten Personen in meinem Fachgebiet arbeiten zu können, und war schockiert, wie groß der Unterschied durch den Namen ist.
  Wenn wir ihn als Corresponding Author einreichten, wurde unser Paper nie von einem Top-Journal abgelehnt. Ich bin ziemlich sicher, dass die Herausgeber ohne diesen Namen meine Forschung als grundsätzlich nicht interessant genug abgelehnt hätten. Allein die Tatsache, dass eine berühmte Person an etwas interessiert ist, kann es zu einem High-Impact-Thema machen.

  • Wenn sogar Terence Tao von Mathematik-Journals abgelehnt wird, bedeutet das zumindest, dass das System in manchen Momenten einigermaßen funktioniert.
  • Könnte es nicht sein, dass er das Paper vorher geprüft und in einen publikationsreifen Zustand gebracht hat? Oder meinst du wirklich, es war nur der Effekt des Namenswerts, und ohne ihn wäre es nicht angenommen worden?

• Der Meister ist öfter gescheitert, als der Anfänger es überhaupt versucht hat.

• „Ablehnungen sind für mich tatsächlich relativ häufig und passieren im Schnitt ein- oder zweimal pro Jahr.“
  Das fühlt sich an wie ein Übermensch, der versucht, sich in normale Menschen hineinzuversetzen.

• Eine nicht null betragende Fehlerquote kann oft optimal sein, weil sie hilfreiches Feedback liefert, um den optimalen Bereich verschiedener Kennzahlen zu finden — etwa Geschwindigkeit, Qualität oder die kleinste publizierbare Einheit (LPU).
  Angesichts des Arbeitsaufwands für wissenschaftliches Publizieren und Begutachten sollte die optimale Ablehnungsquote allerdings ziemlich niedrig sein. Das heißt, man braucht kostengünstigere Methoden, Papers vorab auszusieben. Andererseits können Gutachter auch aus abgelehnten Papers Wert ziehen.
  [1] least publishable unit

• Wenn man lange genug in der Physik ist, erlebt man irgendwann, dass man ein Paper bei Physical Review Letters einreicht, wo es auf etwa vier Seiten begrenzt ist, und es dann mit der Begründung „nicht von ausreichend allgemeinem Interesse“ abgelehnt wird; anschließend reicht man es in einer anderen Sektion von The Physical Review erneut ein, und es wird akzeptiert.
  Heutzutage lese ich aus Problemlösungsperspektive viele Informatik-Papers, und persönlich finde ich kurze Papers oft weitgehend nutzlos. Zum Beispiel zahlt man 30 Dollar für ein vierseitiges Paper, das angeblich eine gute Ranking-Funktion für Named Entity Recognition vorstellt, und am Ende ist es tatsächlich eine Formel, die keine gute Ranking-Funktion ist.

• Natürlich werden auch Top-Mathematiker mit Papers abgelehnt.
  Wichtiger ist aber, dass nur sehr wenige Menschen überhaupt Papers bei Top-Journals der Mathematik einreichen können.