1 Punkte von GN⁺ 56 분 전 | 1 Kommentare | Auf WhatsApp teilen
  • Von 22 Beiträgen, die bei NeurIPS, WACV und ECCV TerraBytes begutachtet wurden, enthielten 15 Beiträge (68 %) manipulierte Zitate oder Autorenlisten oder klar LLM-generierte Sätze; auch zwei Arbeiten, die gefälschte Autoren meldeten, wurden unter der Auflage einer Korrektur der Referenzen als Vorträge angenommen
  • Für die wissenschaftliche Literatur des Jahres 2025 werden etwa 146.900 halluzinierte Zitate geschätzt; von bioRxiv bis zur veröffentlichten Fassung verfolgte halluzinierte Zitate blieben in 85,3 % der Fälle auch nach dem Review bestehen
  • Das Problem hat sich über Einreichungen hinaus auf das Review ausgeweitet: 21 % der ICLR-2026-Reviews wurden als vollständig KI-generiert eingestuft, und bei ICML 2026 wurde in etwa 795 Reviews von Reviewern, denen die Nutzung von LLMs untersagt war, LLM-Nutzung erkannt
  • Problematisch ist weniger die Nutzung von LLMs an sich als das Einreichen ungeprüfter Ergebnisse; Referenzfehler, inkonsistente Zahlen zwischen Fließtext und Tabellen, übertriebene Erfolgskommunikation und Diskussionsabschnitte, die nur Metriken wiederholen, sind Signale dafür, dass ein Manuskript nicht ausreichend geprüft wurde
  • bib-audit, das Referenzen mit mehreren Registern abgleicht, wurde veröffentlicht; da dabei jedoch Teile nicht öffentlicher Einreichungen an ein gehostetes LLM gesendet werden, sollten Reviewer zuerst die Vertraulichkeits- und LLM-Richtlinien der jeweiligen Konferenz prüfen

Das Ausmaß nach der Begutachtung von 22 Beiträgen

  • Zwei Reviewer begutachteten im Sommer bei TerraBytes, einem Geospatial-Workshop von NeurIPS, WACV und ECCV, insgesamt 22 Beiträge
    • In 15 Beiträgen (68 %) fanden sie klare Spuren von LLM-Erzeugung, darunter vollständig erfundene Zitate, manipulierte Autorenlisten realer Arbeiten, halluzinierte Fachbegriffe, sinnlose Sätze und irrelevante Zitate
    • Ein Reviewer stellte solche Probleme in 6 von 11 Beiträgen (55 %) fest, der andere in 9 von 11 Beiträgen (82 %)
  • Die Ergebnisse nach Konferenz:
    • NeurIPS Datasets and Benchmarks Track: 2 von 5
    • NeurIPS Position Paper Track: 2 von 2
    • TerraBytes: 1 von 2 bzw. 4 von 5
    • WACV: beide Reviewer jeweils 3 von 4
  • Allein wegen der Zitatprobleme wären jeweils 5 bzw. 9 Arbeiten desk-reject-würdig gewesen
    • In zwei WACV-Arbeiten waren bereits beim ersten Eintrag im Literaturverzeichnis die Autoren realer Arbeiten durch erfundene Namen ersetzt worden
    • Eine NeurIPS-Arbeit enthielt auf 53 Seiten halluzinierte oder bedeutungslose Fachbegriffe, sodass eine Referenzprüfung selbst sinnlos war
    • Beide NeurIPS-Position-Papers wurden als LLM-Erzeugnisse eingestuft, und in 4 der 5 für TerraBytes zugewiesenen Arbeiten gab es gefälschte Zitate oder Autoren

Halluzinierte Zitate breiten sich in der gesamten Fachliteratur aus

  • Eine Nature-Analyse vom April 2026 bestätigte, dass in mindestens Zehntausenden Veröffentlichungen des Jahres 2025 fehlerhafte KI-generierte Referenzen enthalten gewesen sein könnten
  • Das Audit von Zhao et al. zu arXiv, bioRxiv, SSRN und PubMed Central schätzt für 2025 allein etwa 146.900 halluzinierte Zitate
    • Sie konzentrierten sich nicht auf wenige böswillige Akteure, sondern waren dünn über viele Arbeiten verteilt
    • Am wahrscheinlichsten waren sie bei Forschenden am Anfang ihrer Karriere und kleinen Teams enthalten
    • Bei der Nachverfolgung veröffentlichter Fassungen von bioRxiv-Preprints mit halluzinierten Zitaten blieben 85,3 % unverändert bestehen
  • In The Lancet mit einem Audit von 2,5 Millionen biomedizinischen Arbeiten stieg der Anteil der Arbeiten mit mindestens einer gefälschten Referenz innerhalb von zwei Jahren um das Sechsfache
    • Von 1 Arbeit pro 2.828 im Jahr 2023 auf 1 pro 458 im Jahr 2025
    • Anfang 2026 lag der Wert bereits bei 1 pro 277
  • In einer Analyse von 100 halluzinierten Zitaten in veröffentlichten NeurIPS-2025-Arbeiten waren alle Zitate durch 3 bis 5 Experten-Reviews gegangen
    • Die Arbeiten mit solchen Zitaten umfassten 53 Beiträge, etwa 1 % aller angenommenen Arbeiten, und stehen weiterhin in den Proceedings

KI-verfasste Peer Reviews und Manipulationspotenzial

  • Die Pangram-Analyse zu ICLR 2026 stufte 15.899 Reviews, also 21 %, als vollständig KI-generiert ein
    • In mehr als der Hälfte aller Reviews war KI in irgendeiner Form beteiligt
  • Bei Organization Science stiegen die Einreichungen seit dem Erscheinen von ChatGPT um 42 %; aktuell wird gemessen, dass in über 30 % der Peer Reviews ein gewisses Maß an KI verwendet wurde
  • Die Prompt-Injection-Erkennung bei ICML 2026 fand LLM-Nutzung in etwa 795 Reviews, die von 506 Reviewern der Policy A verfasst wurden, denen LLM-Nutzung untersagt war
    • Das entspricht etwa 1 % aller Reviews
    • Auch bei NeurIPS wurden klar KI-generierte Ethikreviews und mehrere KI-generierte Rebuttals beobachtet
  • KI-Reviews können die Bewertung erhöhen, indem sie das Abstract adversarial umschreiben, ohne den wissenschaftlichen Inhalt der Arbeit zu ändern
    • Im Experiment von Li et al. erreichte der stärkste Angriff eine Erfolgsquote von etwa 38 %
    • Auf einer 10-Punkte-Skala stieg die Acceptance-Bewertung bei Gemini 3 Flash als Reviewer um 1,31 Punkte und bei GPT 5.4 Mini um 0,88 Punkte
    • Der Angreifer musste nicht einmal wissen, welches Review-Modell eingesetzt wurde

In realen Reviews gefundene Manipulationen und Erkennungssignale

  • Die schlimmsten Fälle waren zwei Einreichungen, die Konferenz, Titel und andere Autoren realer Arbeiten beibehielten, aber nur persönlich bekannte Autoren durch ähnlich klingende Fantasienamen ersetzten
    • Obwohl der Reviewer eine Ablehnung empfahl und die Organisatoren direkt informierte, wurden beide Arbeiten als Vorträge unter der Auflage einer Korrektur der Referenzen angenommen
  • Eine WACV-Arbeit, die SatMAE zitierte, gab die Autoren als „Yuyang Cong, Saurabh Khanna, Chen Meng, et al.“ an
  • Zwei 53- bzw. 40-seitige NeurIPS-Arbeiten enthielten halluzinierte Fachbegriffe und manipulierte Referenzen; in einer Arbeit blieben neben mehreren Zitaten sogar interne LLM-Notizen stehen
  • Gefälschte Autoren und vollständig erfundene Referenzen zeigen beide, dass ein Manuskript nicht ausreichend geprüft wurde
    • Es bleibt unklar, ob die zitierte Forschung überhaupt gelesen wurde, ob sie im richtigen Kontext zitiert wurde und ob andere Teile der Arbeit, des Codes oder der Datensätze vertrauenswürdig sind
    • Die Position ist, dass Arbeiten mit halluzinierten Referenzen nicht bereit für eine Annahme sind und desk-rejected werden sollten
  • Signale für eine hohe Wahrscheinlichkeit von LLM-Text

    • Häufige stilistische Signale sind kontrastierende Formulierungen wie „It’s not X, it’s Y“ oder „The real X is Y“, übermäßige Fettschrift und em dashes, schwer interpretierbare Sätze mit hoher Dichte und übertriebene Erfolgsrhetorik
    • Ein subtileres Signal sind Zahlen oder Metriken im Fließtext, die nicht zu den Tabellen passen
    • Solche Inkonsistenzen entstehen, wenn nach einem erneuten Lauf der Experimente ein Agent nicht angewiesen wird, alle Zahlen vollständig zu aktualisieren oder zu prüfen
    • Claude neigt dazu, auch Werte, die in den Anhang oder Code gehören, in den Fließtext zu verdichten und im Diskussionsteil lediglich die Metriken aus Tabellen zu wiederholen
    • Maßgeschneiderte Modelle, die Verbesserungen von unter 1 % ohne Mittelwert oder Standardabweichung als SOTA bezeichnen, komplexe Formeln an Stellen, wo ein Zitat genügt hätte, und Ablationsstudien, die in den Anhang gehören, sind ebenfalls Warnsignale

Veränderungen in der Review-Arbeit

  • Das Review-Verfahren hat sich dahin verändert, direkt nach dem Lesen des Abstracts zuerst die Referenzen zu überfliegen und schnell zu prüfen, ob die ganze Arbeit LLM-Output ist
  • Da mehr Zeit auf das Aufspüren von LLM-Spuren verwendet wird, wird auch die Annahme schwächer, dass eine Arbeit in gutem Glauben eingereicht wurde
    • Es entsteht der Eindruck, dass die Zahl interessanter, von Menschen geschriebener und lesenswerter Arbeiten deutlich gesunken ist
    • Abgesehen von halluzinierten Referenzen ähneln viele Probleme aber denen bei bisherigen schwachen, von Menschen geschriebenen Arbeiten
  • Die bloße Nutzung von LLMs ist an sich kein Bewertungskriterium
    • Selbst wenn ein LLM beim Schreiben geholfen hat, ist das kein Problem, solange die Forschung interessant ist und die Experimente valide und reproduzierbar sind
    • Problematisch ist, ungeprüften LLM-Output unverändert einzureichen und vom Reviewer Feedback dazu zu verlangen
  • Da Konferenzen Einreichenden häufig 4 bis 5 Reviews auferlegen, ist auch das unbezahlte Review-Volumen gestiegen
    • Reviewer investieren Abende oder Wochenenden, und wenn Zitationshalluzinationen erst spät entdeckt werden, ist diese Zeit verschwendet
    • Wer aus Reviews lernen will, sollte die eigene Arbeit zuerst selbst gründlich lesen und reflektieren

Wie LLMs in Forschung und Schreiben genutzt werden

  • LLMs wie Claude werden täglich verwendet, aber der Output wird immer verifiziert, redigiert und neu geschrieben
    • Claude wird für erste Entwürfe von Literaturüberblicken genutzt, danach werden die Originalarbeiten und Beiträge direkt gelesen
    • Von Blogs zitierte Originalforschung wird nachgeschlagen, ersetzt, Material neu strukturiert und unnötiges Detail entfernt
  • Vor der Einreichung einer Arbeit wird das gesamte Manuskript gründlich gelesen und die Referenzen manuell geprüft
    • Claude wird eingesetzt, um unklare Stellen zu finden, und dann mit Multiple-Choice-Fragen interviewt, um die eigene Intention abzugleichen
    • Auch nach dem Lauf von bib-audit werden einzelne Einträge in Datenbanken wie Google Scholar, IEEE und CVF geprüft
    • Reale BibTeX-Einträge, die über Jahre in Zotero gesammelt wurden, werden ebenfalls wiederverwendet
  • Früh wird Feedback anderer eingeholt, und bei Bedarf wird der gesamte Text schon während der Entwurfsphase neu aufgebaut
    • Überhastete Arbeit kurz vor der Deadline gilt als Ursache minderwertiger LLM-Arbeiten
    • Wichtig ist das bereits vor LLMs entwickelte Forschungsgefühl; Sorge besteht darüber, dass junge Forschende ohne Richtung Forschung generieren
  • Wie sich der Stil von Claude steuern lässt

    • Von Agenten geschriebene Sätze sind oft zu dicht und haben einen schlechten Fluss, daher werden em dashes und Semikolons eingeschränkt
    • Fable 5 neigt dazu, statt em dashes Doppelpunkte zu übernutzen und einen B2B-SaaS-Marketingstil zu erzeugen
    • Ziel sind Sätze, die weder zu aggressiv noch zu flach sind und auch für Leser außerhalb des Fachgebiets lesbar bleiben
    • Ein Skill mit Regeln zwischen wissenschaftlichem Schreiben und ASD-STE100 Simplified Technical English erwies sich als wirksam
    • Zuerst müssen Zweck und Zielpublikum des Textes festgelegt werden, danach ist das Format auf die Leser zuzuschneiden
    • Der Standardstil von Claude ist für wissenschaftliche Leser nicht geeignet
    • Bleiben übermäßige Fettschrift, Listen und Marketingformulierungen stehen, kann sogar die Herkunft und Verifizierung des Inhalts infrage gestellt werden

Warum Filter im Einreichungsprozess wichtiger sind als bloße Offenlegung

  • Eine Offenlegungspflicht für LLM-Nutzung kann für Forschende in gutem Glauben nützlich sein, wird das tatsächliche Verhalten aber vermutlich nicht stark verändern
    • TorchGeo hat eine KI-Richtlinie mit den Stufen „kein LLM“, „LLM-unterstützt“ und „vollständig von LLM geschrieben“ ergänzt, aber die Bereitschaft, die letzte Option freiwillig zu wählen, dürfte gering sein
    • Selbst wenn eine Arbeit mit LLMs geschrieben wurde, kann sie akzeptabel sein, sofern die Ergebnisse verifiziert und reproduzierbar sind
  • Benötigt werden Desk-Reject-Mechanismen oder Flagging-Tools, die typische LLM-Fehler finden und feststellen, ob ein Manuskript überhaupt reviewfähig ist
  • Verantwortung liegt bei Autoren, Betreuern, Area Chairs, Organisatoren und Fachgesellschaften gleichermaßen
    • Autoren sollten nicht massenhaft Low-Effort-Arbeiten einreichen, nur um ihren Lebenslauf zu füllen
    • Betreuer und Mentoren sollten Low-Effort-Einreichungen ihrer Studierenden verhindern
    • Organisatoren müssen Wege schaffen, solche Beiträge inmitten großer Einreichungszahlen herauszufiltern
  • Probleme der Publikationsanreize existierten schon vor LLMs; Lipton und Steinhardt beschrieben 2018 bereits mathematische Fassaden, Sprachmissbrauch und fehlgeleitete Anreize
  • Auch wenn sich mit LLMs Lehrveranstaltungsprojekte oder automatische Forschungsergebnisse wie NeurIPS-formatierte Arbeiten darstellen lassen, sollten sie nicht eingereicht werden, wenn sie keinen echten Forschungsbeitrag leisten
    • Mit Opus 4.6 und Karpathys autoresearch-Repository ließen sich auf LandCoverAI Ergebnisse und eine Arbeit erzeugen, die wie SOTA aussehen, wurden aber mangels Forschungsbeitrag nicht eingereicht
    • Bei AAAI 2027 wurden 48.000 Abstracts eingereicht, wodurch das Problem automatischer Filter noch größer wird

Automatisches Referenz-Audit mit bib-audit

  • bib-audit ist ein Claude-Code-Skill unter MIT-Lizenz, der Titel, Jahr und vollständige Autorenlisten von Referenzen mit Registereinträgen abgleicht
  • Als Eingabe können .bib, .bbl und PDFs verwendet werden
  • Die Ergebnisse werden nach Schweregrad sortiert
    • nicht existierende Arbeiten
    • manipulierte Kennungen und gefälschte Autoren
    • falsche Metadaten realer Arbeiten, abgeschnittene Autorenlisten und Jahresabweichungen zwischen Preprint und veröffentlichter Fassung
    • Formatfehler wie einzelne Bindestriche in Seitenbereichen, als URL gespeicherte DOIs oder Initialen im Stil J.D.
  • Da nicht nur die Existenz des Titels, sondern die vollständige Autorenliste verglichen wird, lassen sich auch Autorenersetzungen wie im SatMAE-Fall finden
  • Einträge, die ohne DOI oder arXiv-ID nur per Titelsuche zugeordnet werden, werden nicht definitiv beurteilt, sondern als Empfehlung zur manuellen Prüfung zurückgegeben
    • Im Review sollte nicht über Motive spekuliert werden; berichtet werden sollten nur beobachtete Fakten wie „Der erste Autor im arXiv-Eintrag ist nicht Yuyang Cong, sondern Yezhen Cong“
  • Die .bib-Prüfung ist read-only und hat keine zusätzlichen Abhängigkeiten; sie kann so konfiguriert werden, dass sie nur bei Abweichungen in per Identifier fixierten Einträgen fehlschlägt, und damit als CI-Gate vor der Einreichung dienen
  • Neben Claude lässt sie sich über npx skills add isaaccorley/skills auch in Codex, Copilot, Cursor und andere Agenten installieren

Vertraulichkeit und Konferenzrichtlinien, die Reviewer prüfen müssen

  • Beim Audit werden Teile der Referenzen aus nicht öffentlichen Einreichungen an ein gehostetes LLM gesendet; selbst wenn keine LLMs zum Schreiben des Reviews verwendet werden, kann das gegen Konferenzrichtlinien verstoßen
  • Die ECCV-2026-Richtlinie untersagt das Schreiben von Reviews oder Meta-Reviews mit lokalen oder API-basierten LLMs und verbietet zusätzlich das Teilen erheblicher Teile einer Einreichung mit einem LLM
  • Die WACV-Reviewer-Richtlinien bezeichnen LLM-generierte Reviews als höchst unverantwortlich
    • Bei Verstößen kann die eigene Arbeit des Reviewers desk-rejected werden
    • Ebenfalls untersagt ist es, vertrauliches Material Personen oder Systemen zu zeigen, die keine Reviewer sind; ein gehostetes LLM ist kein Reviewer
  • Die NeurIPS-LLM-Richtlinie beschränkt, was Reviewer mit LLM-Diensten teilen dürfen
  • Autoren können bib-audit vor der Einreichung selbst ausführen, Reviewer sollten jedoch vor der Nutzung immer die LLM- und Vertraulichkeitsrichtlinien der jeweiligen Konferenz prüfen

1 Kommentare

 
GN⁺ 56 분 전
Hacker-News-Kommentare
  • Im aktuellen Publikationsprozess der KI-Forschung übernimmt KI das Schreiben, Begutachten sowie Lesen und Zusammenfassen von Papers.
    Auch NeurIPS führt ein Experiment zu KI-gestütztem Reviewing durch, und es gibt auf großen Konferenzen zu viele Papers, als dass Menschen sie alle lesen könnten.
    Im wissenschaftlichen Publikationsprozess werden Menschen sehr schnell durch Automatisierung verdrängt.

    • Ich sehe das weniger als Abschaffung des Menschen im Publikationsprozess, sondern eher als Automatisierung der Massenproduktion minderwertiger Papers.
      Bei den jüngsten EMNLP-Reviews habe ich Ähnliches erlebt; KI ist noch weit davon entfernt, die Qualität von Forschung beurteilen zu können.
      Das öffentliche Gut eines ehrlichen Peer Reviews wird missbraucht, aber außer den Zugang zum Review-System durch ein extremes Social-Scoring-System zu beschränken, scheint es keine klare Lösung zu geben.
    • Der nächste Schritt dürfte sein, dass KI-betriebene Journals anderen KIs Abogebühren berechnen und KI-betriebene Universitäten die KI mit den meisten Papers und Zitierungen befördern.
    • Wichtig ist, dass auch Papers, bei denen KI-Nutzung erkannt wurde, trotzdem angenommen wurden.
      Da die Mehrheit der Forschenden KI aktiv nutzt, will sie das weder bestrafen noch ein Umfeld schaffen, das ihr selbst schadet; die Stimmung geht im Großen und Ganzen in Richtung keine Sorge, einfach akzeptieren.
      Am Ende zeigt sich die harte Realität, dass von Anfang an kaum jemand die Wissenschaft selbst wirklich ernst genommen hat.
    • Das erinnert an Reasoning Deserts, ähnlich wie Food Deserts.
      Gemeint sind Räume, in denen aus wirtschaftlichen Erwägungen Ersatzprodukte geliefert werden, die äußerlich ähnlich wirken, aber nicht die tatsächlichen Bestandteile enthalten, die für menschliche Gesundheit und Entfaltung nötig sind.
    • Es geht nicht darum, Menschen durch Automatisierung zu verdrängen, sondern darum, die Wissenschaft selbst bedeutungslos zu machen.
      Wenn das der Normalzustand der Wissenschaft ist, kann ich auch die Seite verstehen, die für Kürzungen von Forschungsgeldern argumentiert.
  • Das ist die logische Folge eines Systems nach dem Motto publish or perish.
    Schafft man dieses System ab, verschwinden die meisten Probleme ebenfalls; auch wenn Administratoren einfache Kennzahlen wollen, gibt es solche Kennzahlen für Forschung nicht.

    • Publikationsleistung in der Wissenschaft zu messen ist wie in der Softwareentwicklung die Zahl der geschriebenen Codezeilen zu zählen.
      Sogar die technische Schuld ist ähnlich: Es gibt unzählige Papers, aber die meisten lassen sich vermutlich nicht reproduzieren, und man weiß nicht, welche das sind.
    • Dann stellt sich die Frage, ob es trotz aller Komplexität brauchbare Kennzahlen zur Bewertung von Forschung gibt.
      Publikations- und Zitationsleistungen können manipuliert werden, sind aber konkret; vielzitierte Papers sind meist nützlich, und die Autoren werden dafür belohnt.
      Wenn man das abschafft, ohne eine bessere Alternative zu schaffen, könnte es noch stärker als heute von Netzwerken und rhetorischem Geschick abhängen.
    • Professoren müssen schon jetzt neben Papers viele weitere Anforderungen erfüllen, etwa Lehre, Dienstaufgaben, Gremienarbeit sowie Betreuung und Abschluss von Doktoranden; all das fließt in Tenure-Entscheidungen ein.
  • Das Einreichen von KI-generierten Fehlern unverändert sollte als Verstoß ähnlich wie Plagiat behandelt und ähnlich sanktioniert werden.

    • Soweit ich weiß, werden bereits Richtlinien eingeführt, die bei nicht ehrlicher Offenlegung von KI-Nutzung Einreichungen bei Journals für mindestens ein Jahr untersagen; arXiv scheint in eine ähnliche Richtung zu gehen.
      Offenlegung und übermäßige Nutzung sind verschiedene Dinge, aber wenn man nicht einmal Halluzinationen und Fehler überprüft hat, sind Inkompetenz und Faulheit das eigentliche Problem, nicht KI.
  • Die monatliche Einreichungsstatistik von arXiv sollte wohl besser auf eine logarithmische Skala umgestellt werden.
    Es sieht so aus, als könnte die Wissenschaft 2027 zu etwas wie Moltbook werden.

    • Wenn der logarithmische Wachstumstrend schon vor der Ära der LLM-Papers begonnen hat, könnte man naiv hoffen, dass er lediglich die zunehmende Beliebtheit von arXiv-Preprints widerspiegelt.
    • Die Richtung stimmt grundsätzlich, aber die Lage unterscheidet sich stark je nach Fach und Teilgebiet.
      Minderwertige Papers konzentrieren sich auf auffällige, große Themen, besonders schlimm ist es im Bereich Machine Learning; zugleich gibt es viele wichtige Nischenthemen, die solche Autoren noch nicht anfassen.
      Diese Felder werden weiterhin von ernsthaften Forschenden geprägt, aber ohne eigene Einarbeitung erfährt man kaum von ihrer Existenz.
  • Das ist eine Nebenwirkung davon, dass die Wissenschaft die offene Zugänglichkeit von Papers nicht ernsthaft behandelt hat.
    Wenn Papers nicht hinter Zugriffsbeschränkungen von Journals stecken würden, ließe sich zumindest leicht prüfen, ob zitierte Papers und Zitate überhaupt existieren.

    • Das Problem sind eher die Verlage als die Wissenschaft: Sie stützen sich auf ihre Marken, um möglichst viel Gewinn abzuschöpfen.
      Peer Review ähnelt der Rolle von Reddit-Moderatoren: Man bekommt keine Vergütung, nur Reputation, während Plattformen und Verlage profitieren.
      Die Autoren zahlen Publikationsgebühren, andere Autoren übernehmen kostenlos sogar das Korrekturlesen; daher ist es eine natürliche Entscheidung, wenn Wissenschaftler Preprints oder beliebte Papers auf ihre eigenen Websites stellen.
    • Ob ein Paper existiert, lässt sich in den meisten Fällen auch bei geschlossenen Journals leicht über öffentliche Journal-Indizes, Autoren- und Abstract-Informationen sowie DOI-Zitationen überprüfen.
      Um zu prüfen, ob der zitierte Inhalt tatsächlich zur behaupteten Aussage passt, muss man das Paper allerdings lesen und interpretieren; das wird durch Open Access allein nicht einfach, und selbst eine erste Prüfung per KI bleibt sehr mühsam.
    • Das zeigt ein dauerhaftes menschliches Versagen, das in jeder Gruppe wiederkehrt: Niemand will sein eigenes Haus putzen.
    • Ob ein zitiertes Paper existiert, lässt sich bereits leicht überprüfen.
    • Zumindest in der biomedizinischen Forschung wird der Großteil entweder sofort nach Veröffentlichung oder nach einem Jahr Open Access.
  • Ich frage mich, ob es wirklich stimmt, dass man nach der Einreichung eines Papers bei einer Konferenz verpflichtend 4 bis 5 Papers begutachten muss.
    Dann würden selbst ordentliche Papers zwangsweise von Leuten begutachtet, deren Quellenlage und Expertise man nicht kennt.

    • Das stimmt, und 4 bis 5 ist sogar niedrig angesetzt.
      Ich musste 7 Papers begutachten; ich hatte mich unter 30.000 Papers für 30 gewünschte Papers gemeldet, bekam aber keines davon zugeteilt und musste stattdessen 7 Papers übernehmen, für die ich nicht ausreichend Expertise hatte.
    • Bei ACL-nahen Konferenzen sind das nicht völlig zufällige Personen; es müssen Autoren sein, die mindestens zwei Papers bei großen ACL-Veranstaltungen oder in Findings sowie mindestens ein weiteres Paper in der ACL Anthology oder bei großen ML-/AI-Konferenzen veröffentlicht haben.
      Aber weil die Zahl der Einreichungen weiter steigt und freiwillige Reviewer fehlen, wird verpflichtendes Reviewing tatsächlich durchgesetzt: Kriterien für Review-Anreize
  • Chavdas Paradox ist hier lesenswert: https://zencapital.substack.com/p/chavdas-paradox

  • Zuerst dachte ich, Caleb und Isaac seien die Namen zweier Algorithmen zur Erkennung von KI-Nutzung in veröffentlichten Papers, tatsächlich waren es aber die Namen zweier Autoren, die ihre Texte mithilfe von KI geschrieben hatten.
    Wenn die beiden zu unterschiedlichen Einschätzungen kamen, würde mich interessieren, wie stark sich die von ihnen jeweils als problematisch markierten Papers überschnitten.

  • Ich entwickle derzeit noch in der Alpha-Phase eine Anwendung zur Zitationsprüfung unter https://veruscite-data.com/, mit dem Ziel, sie in ein paar Wochen bei Show HN vorzustellen.
    Wer mit generativen KI-Tools vertraut ist, kann die im Artikel von Caleb und Isaac bereitgestellten Funktionen direkt verwenden; dieses Tool ist jedoch token-effizienter und bietet eine GUI, mit der sich extrahierte Literaturangaben leichter prüfen und korrigieren lassen.