- GPTZero hat in den ICLR-2026-Einreichungspapieren mehr als 50 fehlerhafte Zitate und falsche Autorenangaben entdeckt
- Für jedes Paper wurde die tatsächliche Existenz und die Übereinstimmung der Zitate zusammen mit dem OpenReview-Link überprüft
- In zahlreichen Fällen wurden nicht existierende Autoren, falsche Jahreszahlen und andere Paper-Titel festgestellt
- Einige Arbeiten stimmen nur teilweise mit realen Papieren überein, aber die Detail-Metadaten sind verzerrt
- Die Ergebnisse zeigen, dass das Problem der Halluzination durch KI-generierte Inhalte auch in akademischen Einreichungen weiter verbreitet ist
GPTZeros Ergebnisse zur Halluzinationserkennung bei ICLR 2026
- GPTZero hat die ICLR-2026-Einreichungspapiere einer automatisierten Prüfung von Zitaten und Autoreninformationen unterzogen
- Für jedes Paper werden ein OpenReview-Link, ein GPTZero-Verifizierungslink und die Zitationsdaten angegeben
- In den Prüfergebnissen wurden in über 50 Fällen falsche Zitate oder nicht existierende Autoren gefunden
Repräsentative Halluzinationsfälle
- Das Paper TamperTok ist tatsächlich vorhanden, jedoch sind alle Autorenangaben falsch
- Bei MixtureVitae stimmen die ersten drei Autoren überein, während die übrigen sieben nicht existieren
- OrtSAE, Principled Policy Optimization, IMPQ und weitere Arbeiten sind teils mit echten Papieren nicht passend, was Titel oder Autoren betrifft
- Bei PDMBench existiert ein ähnliches Paper, jedoch unterscheiden sich Jahr und Titel
- C3-OWD, GRF-LLM usw. wurden als teilweise Übereinstimmung eingestuft
Vollständig unpassende Fälle
- Catch-Only-One, TopoMHC, ThinkGeo, Reflexion, LOSI und andere zitieren Paper, die nicht existieren
- SAFE-LLM, Typed Chain-of-Thought, MANTA usw. verweisen auf ähnliche Papiere, aber inkonsistente Metadaten
- AI-Assisted Medical Triage Assistant, QUART, KARMA und weitere verweisen auf völlig nicht verwandte Arbeiten
Verifizierungsverfahren und Ergebnistypen
- GPTZero vergleicht jede Zitation mit echten Datenbanken (z. B. arXiv, NeurIPS, ICLR, ACL usw.)
- Die Ergebnisse werden als „existiert“, „teilweise Übereinstimmung“, „nicht übereinstimmend“, „falscher Autor“ usw. klassifiziert
- Einige Einträge wurden als „echte Paper vorhanden, aber Autoren, Jahr und Titel unterscheiden sich vollständig“ markiert
Bedeutung und Implikationen
- Bei vielen ICLR-2026-Einreichungen sind Halluzinationsphänomene aus KI-generierten Texten direkt enthalten
- Bei der Erstellung wissenschaftlicher Paper wird der Bedarf an automatisierten Validierungswerkzeugen für Faktenprüfung zunehmend deutlich
- Die GPTZero-Ergebnisse zeigen die Notwendigkeit, die Sicherung der Verlässlichkeit von KI-generierten Inhalten zu stärken
Noch keine Kommentare.