Wie 12.750 arXiv-Artikel auf AI-Schreibstil gemessen wurden – und wo die Grenzen liegen

• Die Analyse des vollständigen Haupttexts von 12.750 arXiv-Artikeln ergab, dass etwa ein Drittel der neueren Arbeiten so wirkte, als sei es maschinell geschrieben; im zuletzt abgeschlossenen Quartal lag die Erkennungsrate bei rund 32 %
• Arbeiten aus den Jahren 2021–2022 dienten als menschlich verfasste Kontrollgruppe; der Schwellenwert wurde auf eine False-Positive-Rate von 0,4 % eingestellt, verwendet wurden Version-1-PDFs und Bootstrap-95%-Konfidenzintervalle
• Nach dem Erscheinen von ChatGPT stieg die Rate in zwei Schüben an und erreichte Anfang 2026 mit rund 39 % ihren Höchststand; bis Juli 2026 lagen die Werte für die letzten 12 Monate in der Informatik bei 65,0 %, in der Mathematik bei 0,7 %
• Mathematikarbeiten mit vielen Formeln sowie Satz-/Beweisstrukturen können niedriger gemessen werden, weil sie von der Trainingsverteilung des Detektors abweichen; zudem lässt sich die Leistung für die tatsächlich von Autorinnen und Autoren verwendeten nicht öffentlichen Modell-/Prompt-Kombinationen nicht bewerten
• Die Ergebnisse identifizieren weder Autorinnen und Autoren noch den Anteil AI-generierter Inhalte und können leichte Überarbeitung nicht von vollständiger Generierung unterscheiden; sie sollten daher nicht als Grundlage für persönliche Vorwürfe, sondern als Untergrenze des Anteils maschinellen Schreibstils interpretiert werden

---

Messdesign mit der False-Positive-Rate als Maßstab

• Eine Angabe wie „N % des Inhalts sind AI“ ist wenig wert, wenn man nicht zugleich betrachtet, wie oft der Detektor auch tatsächlich menschliche Dokumente so einstuft
  • Wenn 40 % neuer Arbeiten als maschinell geschrieben eingestuft werden, aber dasselbe Ergebnis auch bei 20 % der Arbeiten vor ChatGPT auftritt, dann ist die zuerst zu erklärende Zahl die False-Positive-Rate von 20 %
• Der Detektor wurde auf wissenschaftlichen Schreibstil kalibriert
  • Bei einer False-Positive-Rate von 0,4 % lässt er 99,6 % echter wissenschaftlicher Dokumente aus der Zeit vor LLMs korrekt passieren
  • 85 % der AI-verfassten wissenschaftlichen Dokumente werden erkannt
• Als Ground-Truth-Daten für menschlich verfasste Texte wurden Einreichungen aus 2021–2022 angenommen; der Schwellenwert wurde so gesetzt, dass genau 0,4 % davon markiert werden
• Alle Ergebnisse geben den Anteil der Arbeiten an, die den Schwellenwert überschreiten, bei dem Dokumente aus der Zeit vor LLMs konstruktionsbedingt bei 0,4 % liegen
• Die Jahre vor ChatGPT dienen als eingebaute Kontrollgruppe
  • Wäre der Anstieg ein künstliches Ergebnis des Detektors selbst, müssten 2021–2022 ebenso hohe Werte wie 2026 zeigen – das war tatsächlich nicht der Fall

Stichprobe und Analysemethode

• Aus 10 Fachgruppen wurden von Januar 2023 bis Juli 2026 monatlich und je Fachgebiet etwa 25 Arbeiten gezogen; zusammen mit 8 Kontrollmonaten aus 2021–2022 wurden insgesamt 12.750 Arbeiten analysiert
• Verwendet wurde jeweils das Version-1-PDF, damit 2026 überarbeitete Formulierungen nicht in die 2023er Stichprobe derselben Arbeit geraten
• Analysiert wurde der gesamte Haupttext statt nur des Abstracts
  • Es gab Fälle, in denen dieselbe Arbeit im Abstract unter 20 % lag, im Haupttext aber über 70 %; eine reine Abstract-Analyse könnte das Signal daher abschwächen
• Auf alle Werte wurden per Bootstrap 95%-Konfidenzintervalle angewandt

Gesamttrend und Unterschiede zwischen Fachgebieten

• Die Erkennungsrate blieb 2021–2022 bei 0,4 % und begann innerhalb weniger Monate nach dem Auftreten von ChatGPT zu steigen
• Danach gab es zwei Anstiege; im zuletzt abgeschlossenen Quartal wurden rund 32 % erreicht, Anfang 2026 lag der Höchststand bei etwa 39 %
• Die fachspezifischen Ergebnisse für die letzten 12 Monate bis Juli 2026 lauten wie folgt

Fachgebiet	Kontrollgruppe vor LLMs	Aktueller Erkennungsanteil	95%-Konfidenzintervall
Informatik	0,2 %	65,0 %	59,3–70,3 %
Quantitative Biologie	3,5 %	56,3 %	51,0–61,7 %
Elektrotechnik und Systeme	1,7 %	51,3 %	46,0–57,0 %
Ökonomie und Finanzen	2,5 %	47,0 %	41,3–52,7 %
Angewandte Physik	1,3 %	34,0 %	29,0–39,7 %
Statistik	1,8 %	31,3 %	26,0–36,7 %
Physik der kondensierten Materie	0,0 %	24,0 %	19,3–29,0 %
Hochenergiephysik	0,5 %	14,0 %	10,0–18,0 %
Astrophysik	0,0 %	10,7 %	7,3–14,3 %
Mathematik	0,0 %	0,7 %	0,0–1,7 %

• Die Informatik lag mit etwa 65 % am höchsten, die Mathematik mit etwa 0,7 % am niedrigsten; der niedrige Wert der Mathematik ist jedoch schwer zu interpretieren
• Die Spalte der Kontrollgruppe zeigt die über drei Sensitivitätseinstellungen gemittelten Erkennungsraten von 2021–2022 je Fachgebiet
• Da Fachgebiete mit großem Anstieg nicht mit denen mit hohem Niveau in der LLM-vorher-Kontrollgruppe übereinstimmen, lässt sich der spätere Anstieg nicht allein durch einen hohen Ausgangswert erklären

Statistische Grenzen der fachspezifischen Kontrollgruppen

• Die fachspezifische Kontrollgruppe aus der Zeit vor ChatGPT umfasst jeweils 200 Arbeiten
• Bei einer False-Positive-Rate von 0,4 % werden unter den 2.000 Kontrollarbeiten aus 10 Fachgebieten nur 8 Arbeiten markiert; fachspezifische Raten auf Basis eines einzelnen Schwellenwerts sind daher grob gemessen
• Die gesamte Untergrenze für Fehlalarme ist hinreichend geschätzt, und das Studiendesign orientiert sich daran, doch die fachspezifischen Kontrollwerte sind nur Näherungen
• Um Anteile unter 1 % je Fachgebiet präzise festzulegen, wären Tausende Kontrollarbeiten pro Fach nötig; im arXiv vor 2023 gibt es dafür nicht genug Arbeiten

Niedrige Werte und blinde Flecken des Detektors

• Niedrige Werte können bedeuten, dass die AI-Nutzung gering ist – oder sie spiegeln blinde Flecken des Detektors wider
• Mathematikarbeiten basieren stark auf Formeln sowie Satz-/Beweisstrukturen; entfernt man Formeln und Literaturverweise, bleibt wenig Fließtext übrig, und dieser unterscheidet sich zudem vom wissenschaftlichen Englisch, auf dem der Detektor trainiert wurde
  • Auch Mathematikarbeiten, die mit starker Modellunterstützung geschrieben wurden, können niedrige Werte erhalten, weil ihr Fließtext außerhalb der Verteilung des Detektors liegt
  • Daher ist es schwierig, aus den Mathematik-Ergebnissen allein geringe Nutzung von geringer Erkennungssensitivität zu unterscheiden
• Da Fachgebiete mit hohem Fließtextanteil, die am besten zur Trainingsverteilung des Detektors passen, auch den größten Anstieg zeigten, kann dieser Störfaktor den gesamten Aufwärtstrend nicht allein erklären
• Die Rangfolge von Fachgebieten mit niedrigen Werten sollte als Untergrenze der AI-Nutzungsrate gelesen werden
• Der Detektor reagiert je nach Generierungsmodell unterschiedlich sensitiv und kann die genaue Kombination aus nicht öffentlichen Modellen und Prompts, die Autorinnen und Autoren tatsächlich verwendet haben, nicht bewerten
• Unvollständige Erfassung drückt die Erkennungsrate nach unten; die gemessenen Anteile sind daher eine Untergrenze des tatsächlichen Anteils maschinellen Schreibstils. Die modellabhängige Leistung ist in der Beschreibung des Detektors dokumentiert

Was sich aus den Ergebnissen nicht ableiten lässt

• Der Detektor schätzt auf Basis bekannter Fehlerquoten und kalibrierter Wahrscheinlichkeiten, ob ein Dokument so klingt, als sei es maschinell geschrieben
• Er kann leicht überarbeitete Dokumente nicht von vollständig generierten unterscheiden, und ein einzelner Wert kann keine Grundlage für Vorwürfe gegen eine bestimmte Person sein
• Gemessen wird nicht die Identität der Autorinnen und Autoren oder der Generierungsanteil, sondern der Anteil maschinellen Schreibstils, einschließlich Bearbeitungen mit intensiver AI-Nutzung
• arXiv-Arbeiten lassen sich auf der kostenlosen Prüfseite prüfen, allgemeiner Text auf der Text-Prüfseite; mit dem Betrieb des Detektors werden keine Einnahmen erzielt

[GN⁺]

Hacker-News-Kommentare

• Eine 2011 geschriebene PyHPC-Workshop-Arbeit wurde als zu 27 % maschinell verfasst eingestuft, die Doktorarbeit von 2012 mit 40 % knapp unter dem Schwellenwert von 42 %
  Ich veröffentliche keine Papers mehr, aber ich weiß nicht, ob ich wie ein LLM geschrieben habe oder ob das LLM von meinem Stil gelernt hat. Ein IEEE-CLUSTERS-Paper von 2015 kam sogar auf 74 %

  • Frühe Detektoren stuften sogar die Unabhängigkeitserklärung der USA mit 100 % Wahrscheinlichkeit als KI-verfasst ein, also funktionieren solche Tools nicht richtig
    Noch gefährlicher ist, dass Leute, die das Prinzip nicht verstehen, dies als Beweis für KI-Nutzung nehmen und Studierenden schwere Nachteile zufügen; das passiert bereits auf allen Bildungsebenen
  • „Versuche, KI-generierte Inhalte oder Deepfakes zu erkennen, haben einen grundlegenden Fehler. Denn die Erkennungsergebnisse können zum Training noch besserer Generatoren für gefälschte Daten genutzt werden. Am Ende erreichen wir im digitalen Raum einen Gleichgewichtszustand digitaler Unsicherheit, in dem nichts mehr eindeutig als echt gelten kann. Ob ein digitales Ergebnis von einem Menschen oder einer KI stammt, ist nicht wichtig; wichtig ist nur, ob es für mich nützlich ist. Nützlicher Inhalt trifft den Kern, entspricht den Fakten und sollte im Idealfall so überraschend sein, dass er mir etwas Neues beibringt.“ - https://seanpedersen.github.io/posts/digital-uncertainty/
  • Könnte es nicht sein, dass diese Arbeiten tatsächlich im Trainingsdatensatz enthalten waren?
  • Wenn die Werke zum Lernen verwendet und anschließend noch destilliert wurden, muss das Rauschen durch False Positives absurd hoch sein

• Es wurden die Volltexte von 12.750 arXiv-Papers aus den Jahren 2021 bis 2026 analysiert, um den Anteil maschinell verfasster Arbeiten und den Anstieg seit dem Start von ChatGPT zu untersuchen
  Um False Positives zu vermeiden, wurde der Detektor absichtlich so eingestellt, dass die Erkennungsrate vor ChatGPT bei etwa 0,4 % lag. Im Januar 2026 wurden etwa 39 % aller Papers und in der Informatik bis zu 65 % als KI-verfasst eingestuft; in der Mathematik blieb der Wert mit 0,7 % fast unverändert, wobei der beweisorientierte Stil dort möglicherweise nicht gut erfasst wurde. Das ist nur eine Schätzung eines statistischen Signals und kein Beleg dafür, dass ein bestimmter Autor KI verwendet hat; maschinelles Verfassen kann auch stark KI-gestütztes Lektorat umfassen

  • Welcher Detektor wurde verwendet, und wie kann man sich der Genauigkeit sicher sein, wenn alle kommerziellen KI-Detektoren bereits widerlegt wurden?
  • Die Zeitreihen-Ergebnisse wirken ziemlich überzeugend, aber ich frage mich, ob die Trainingsmethode des Detektors unabhängig von dieser Analyse ist
    Es könnte Leckage geben, etwa wenn Dokumente aus der Zeit vor ChatGPT in den positiven Trainingsdaten enthalten waren
  • Wenn man False-Positive-Fälle aus Dokumenten vor dem LLM-Zeitalter veröffentlichen würde, könnte man sehen, was den Detektor triggert
    Ich frage mich, ob schon vor dem Auftreten von LLMs eine winzige Zahl von Autoren so geschrieben hat wie ein LLM
  • Wenn man die Analyse auf Papers vor 2020 ausdehnt, ließe sich die Baseline-Genauigkeit des Erkennungssystems besser einschätzen
  • Ich frage mich, ob das Modell lokal ausgeführt werden kann oder ob eine Ergebnistabelle für alle arXiv-Preprints bereitgestellt werden könnte
    Ich möchte den Server nicht mit Anfragen überlasten, während ich viele Papers prüfe

• Beim Einsatz von LLMs in Unternehmen wirken tatsächlich spieltheoretische Anreize
  Entwickler verwenden Claude Code hemmungslos, produzieren oberflächlich bessere Code- und Dokumentmengen, und das Management fördert das, weil kurzfristig keine Nachteile sichtbar sind. Die strukturelle Qualität ist ungewiss, aber in falschen Metriken sieht man nur den Output, daher wird es Jahre dauern zu beurteilen, ob es den Preis kognitiven Abbaus wert ist. Wer nicht den ganzen Tag LLMs nutzt, wird beim Output zwangsläufig zurückfallen; derselbe Druck dürfte auch in der Wissenschaft wirken, wo Publikationsmenge zählt

  • In der biomedizinischen Grundlagenforschung werden LLMs größtenteils ignoriert, weil sie rohe Nasslabor-Experimentdaten meist nicht interpretieren können
    Trotzdem behaupten zahllose Startups und neue Assistant Professors, mit „AI“ neue Felder zu erschließen, aber tatsächlich sind Ansätze mit Machine Learning wirksamer als mit LLMs
  • Ich portiere mit Hilfe von ChatGPT-5.6 Sol eine 2.800 Zeilen lange Python-basierte Rhino3D-Geometrie auf Python-basiertes OCCT/FreeCAD, und nach etwa der Hälfte des Weges ist das auf 36.000 Zeilen angewachsen
    Ich habe wiederholt angewiesen, Duplikate zu minimieren und den Code zu verkleinern, aber das Ergebnis ist eher „schlecht, aber für mich nützlich“. Auch so viel Nützlichkeit kann man nicht ignorieren, aber ich fürchte Manager, die auf eine überlaufende Toilette schauen und glauben, der Wert sei maximiert worden
  • LLM-Code ist besser als der Code eines unfähigen Entwicklers und schlechter als der Code eines motivierten durchschnittlichen Entwicklers, aber meistens brauchbar genug
    Die wirklich schwierige Frage ist Qualität im Verhältnis zu Zeit- und Kostenaufwand, und derzeit scheint generierter Code von opus/fable gemessen am Abo-Preis ausreichend im Vorteil zu sein
  • Vor den Preiserhöhungen hatte ich große Sorge, dass das Management die Nutzung bedingungslos durchdrücken würde, aber jetzt hoffe ich eher, dass KI zu teuer wird, um zusätzlichen Einsatz in Großunternehmen zu rechtfertigen
    Die neuen Tools selbst sind gut, aber ich möchte nicht zur Nutzung eines bestimmten Tools gezwungen werden, nur um Management-Metriken zu erfüllen
  • Kognitiver Abbau könnte selbst das Ziel sein
    Wenn Menschen von KI abhängig werden, gewinnen Unternehmen Einfluss, Gesetze zu ihren Gunsten zu ändern. Selbst wenn Bürger große Rechenzentren in Innenstädten ablehnen, können Unternehmen Druck ausüben, indem sie behaupten, ohne die von diesen Rechenzentren gelieferte KI könne man nichts mehr tun; Menschen unfähig und abhängig zu machen, könnte also der Kern sein

• Wie bei allen KI-Erkennungsverfahren, die nur Text verwenden, gibt es Bedenken hinsichtlich der Genauigkeit
  Vor allem ist unklar, wie man sicher sein kann, dass das spätere Zusammenführen der drei Detektor-Scores keine Verzerrung erzeugt, und ohne Quellcode ist es schwer, die Funktionsweise zu prüfen oder die Studie zu reproduzieren. Auch nicht veröffentlichte, vor dem LLM-Zeitalter selbst geschriebene Forschung erhielt hohe Werte, und in anderen Papers wurden fast alle Sätze rot als „machine-leaning“ markiert, ohne dass sich das im Gesamtscore niederschlug. Derselbe Text bekam je nach LaTeX-Formatierung stark unterschiedliche Werte. Das Fazit sollte sein: „Die Erkennung generierter Texte ist schwierig, und man sollte Ergebnisse nicht nur deshalb akzeptieren, weil sie die eigene Hypothese bestätigen.“ Auch dieser Beitrag wurde gerade direkt von mir geschrieben und erhält trotzdem einen hohen Maschinen-Score

  • Die besorgniserregendste Nutzung ist der Einsatz solcher Tools an Schulen, um Schüler beim Schummeln zu erwischen

• Bei der Untersuchung desselben Problems im akademischen Umfeld wurde geschlussfolgert, dass es unmöglich ist, AI-geschriebene Texte allein anhand des Textes zuverlässig zu erkennen
  Wenn ein Mensch und ein LLM zufällig exakt denselben Absatz geschrieben hätten, gäbe es keine Möglichkeit, denselben Input als synthetisch oder menschlich verfasst zu unterscheiden. Tatsächlich gibt es zwar für LLMs typische Spuren, doch diese ändern sich mit der Zeit und je nach Modell, sodass sich menschliche Texte, die synthetisch wirken, und synthetische Texte, die menschlich wirken, nicht auseinanderhalten lassen. Ein interessanterer Ansatz wäre zu analysieren, wie sich in einem Essay-Korpus Wortschatz, sprachliche Merkmale, Stil-Embeddings, allgemeine Embeddings, Tippfehler, Fehler und Literaturverweise nach der Einführung von LLMs verändert haben. Dass sich der akademische Stil auf Gruppenebene verändert hat, ist klar, aber die Ursachen sind schwer zurückzuverfolgen

  • Wenn es sich nicht um sehr kurze Passagen handelt, führen mögliche Ausdrucksweisen schnell zu einer kombinatorischen Explosion, daher stimme ich der Erklärung nicht zu, dass perfekte Klassifikation wegen endlicher Kombinationen unmöglich sei
    Wie Chomsky sagte, ist fast jeder Satz, den ein Mensch spricht oder versteht, eine Wortkombination, die in der Geschichte des Universums zum ersten Mal auftaucht. Die größere Schwierigkeit ist, dass LLMs nicht nur eine einzige feste Ausdrucksweise erzeugen und dass die Informationsdichte von Text niedrig ist, sodass für statistische Tests mit engem Konfidenzintervall eine beträchtliche Textmenge nötig ist

• Wenn 65 % der gelesenen Papers Merkmale von AI-Schreibstil zeigen, gerät man selbst unter den Einfluss des AI-Stils, auch ohne AI direkt zu verwenden
  Das dürfte besonders stark bei Nachwuchsforschenden auftreten, deren Stil sich noch entwickelt

  • Der Einfluss des AI-Stils zeigt sich wohl teilweise in bestimmten Wörtern oder rhetorischen Wendungen, aber AI-generierte Texte klingen meist über den gesamten Output hinweg konsistent nach AI
    Damit ein Mensch die syntaktischen Muster von AI über längere Zeit beibehält, müsste er Muster erfassen, die derzeit niemand vollständig kennen kann, und jeden Satzteil so feinjustieren wie bei einer Bildfälschung. Zudem verändert sich auch der AI-Stil: Das ehemals typische delve ist seit Mitte 2024 stark zurückgegangen und inzwischen aus LLM-Outputs fast verschwunden. Texte von Menschen, die sich das abgeschaut haben, ähneln dem aktuellen AI-Stil daher eher weniger
  • Diese 20 % könnten bedeuten, dass Erkennungstools nicht so zuverlässig sind wie gedacht oder dass AI auf menschlichen Texten trainiert wurde und dadurch Teile des bisherigen menschlichen Stils nun zu Merkmalen von AI-Geschwafel geworden sind
    Menschen, die schon vor AI Geschwafel produzierten, gab es ebenfalls

• Als Nicht-Muttersprachler im Englischen überrascht es mich nicht, dass die meisten Papers bei AI-Detektoren anschlagen
  Nicht, weil man das ganze Paper von einem LLM schreiben lässt, sondern weil man mit wissenschaftlichem Stil nicht vertraut ist und US-Editoren ihn verlangen. Man kann Ideen in einfachen Sätzen aufschreiben und sie dann von einem LLM glätten lassen. Wenn man jeden Absatz selbst schreibt und ihn anschließend wissenschaftlicher ausarbeiten lässt, wird er als LLM-generiert eingestuft, obwohl der Inhalt vollständig der eigene ist. Umgekehrt kann ein von einem LLM geschriebenes Paper auch wie menschlicher Text wirken, wenn das Englisch ausreichend gut überarbeitet wird

  • Genau diese Nutzung war zu erwarten, und es gibt keinen Grund, sie für falsch zu halten
  • Mit meinen Englischkenntnissen gibt es kein Problem, und auch meine Masterarbeit habe ich selbst auf Englisch geschrieben, aber das Schreiben in wissenschaftlichem Stil ist sehr mühsam
    Wenn ich noch einmal ein Paper schreiben würde, hätte ich nicht vor, alles von Hand zu verfassen; solange ich prüfe, ob der Inhalt meiner Absicht entspricht, und Fehlformulierungen korrigiere, ist daran nichts auszusetzen. Unter den Papers englischer Muttersprachler gibt es ebenfalls viele, die durch eine Überarbeitung mit einem LLM deutlich besser würden
  • Das ist ein Fehlverhalten
  • Etwas „wissenschaftlicher“ zu machen, ist keine bloße stilistische Überarbeitung, die die ursprüngliche Bedeutung treu bewahrt
    Die konkreten Formulierungen eines Absatzes haben großen Einfluss darauf, was und wie etwas vermittelt wird, daher lässt sich schwer sagen, dass es vollständig das eigene Paper ist. Schon der Wunsch nach einem wissenschaftlich wirkenden Stil ist fragwürdig; die am besten geschriebenen Papers lesen sich ohne Aufschneiderei fast gesprächig. Dass es externen Druck gibt, ist nachvollziehbar, aber die einfachen Sätze des Autors wären wohl besser als LLM-Sätze
  • Zwischen der Korrektur von Grammatik und Rechtschreibung mit einem LLM und dem Generieren von Text gibt es eine feine Grenze

• Solche Papers enthalten viele weitschweifige und abgedroschene Passagen, daher könnte AI 90 % schreiben und nur die tatsächlich neuen Inhalte und die Erklärung ihrer Bedeutung würden vom Menschen verfasst
  Vielleicht verbreitet sich genau diese Arbeitsweise tatsächlich gerade

  • Wenn 90 % eines Papers aus Floskeln bestehen, sollte man zuerst fragen, ob es überhaupt Inhalte hat, die eine Veröffentlichung als wissenschaftlicher Artikel rechtfertigen
  • Im wissenschaftlichen Betrieb ist Schreiben meist vergeudete Zeit, und wenn Maschinen das kompetent erledigen können, gibt es wenig Grund, warum Forschende es selbst tun sollten
    Einige mögen Künstler des Schreibens sein, die meisten aber nicht

• Es ist möglich, dass der Detektor einfach Wörter und Fachbegriffe, die seit 2022 in der Literatur zugenommen haben, als AI-Merkmale gelernt hat
  Zum Beispiel beschäftigen sich LLMs und ihre Nutzer häufig mit LLMs, sodass schon der Ausdruck „large language model“ selbst als typisch für AI eingestuft werden könnte. Dieser Ausdruck war vor 2022 selten und kommt heute sowohl in AI-generierten Texten als auch allgemein häufig vor, ist aber kein gutes Merkmal, um heutige menschliche von AI-Texten zu unterscheiden. In einer Kontrollgruppe, für die man vernünftigerweise annehmen kann, dass es auch nach 2023 kaum LLM-generierte Texte gibt, müsste die Erkennungsrate deutlich niedriger sein als bei arXiv. Nature und Science wären wohl auch nicht völlig frei davon, aber wenn man bis 2026 testet, sollte die Anstiegskurve dort viel flacher ausfallen als bei arXiv

  • Eine plausible Möglichkeit, aber meinem Gefühl nach erklärt sie nur einen kleinen Teil der tatsächlich erkannten Papers
    Bei der Aktualisierung des Detektors werde ich prüfen, wie sich das abmildern lässt, aber es ist schwer, saubere Datensätze aus der Zeit nach 2023 zu bekommen. Wenn man ihn mit einem anderen AI-Detektor erstellt, kann er am Ende ohnehin nicht besser sein als dieser Detektor

• Ich habe mehrere Forschende, die unter anderem zu Konsensprotokollen arbeiten, gefragt, was sie lieber mögen: Papers schreiben oder forschen, und fast alle wählten die Forschung selbst
  Wenn sie lieber geschrieben hätten, hätten sie vermutlich einen anderen Beruf gewählt. Wenn LLMs Forschungsdiagramme, Code usw. in Papers oder Entwürfe umwandeln könnten, könnte die Zahl qualitativ guter Forschungspapiere sogar steigen. Denn die Reibung „Ich will forschen, aber das Schreiben von Papers ist lästig“ würde sinken. Wenn man Forschungsfähigkeit und Abneigung gegen Schreiben als zwei Achsen betrachtet, könnten LLMs Ergebnisse von Forschenden mit hohen Werten auf beiden Achsen hervorbringen. Schlechte Papers würden zwar ebenfalls zunehmen, aber langfristig könnte der Nettoeffekt positiv sein