Vor Kurzem gab es ein Thema, das Hacker News stark bewegt hat.
Es war ein Blogbeitrag darüber, dass das Erkennen von AI-Slop-Text mit klassischem ML überraschend gut funktioniert.
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
Dieser Ansatz wurde zwar schon vielfach diskutiert, aber gerade weil er weiterhin gültig und effizient ist, habe ich ihn auch für Koreanisch umgesetzt.
- Die Bewertung erfolgt satzweise mit einem Ensemble aus char/word-n-gram TF-IDF + linearem SVM; das gesamte Dokument wird anhand des Anteils verdächtiger Sätze eingestuft.
- Die gesamte Inferenz läuft in JavaScript, daher funktioniert es ohne Server, API oder GPU allein als statische Seite. Das Modell ist etwa 1,4 MB groß, und eingefügte Texte werden nirgendwohin übertragen.
Natürlich sind auch die Grenzen deutlich. Da klassisches ML wie SVM verwendet wird, werden einige klar KI-artige Texte zwar zuverlässig erkannt, bei mehrdeutigen oder wissenschaftlichen Texten liefert das System jedoch teils uneindeutige Ergebnisse.
Nur weil das Ergebnis einen Text als KI einstuft, muss er nicht zwangsläufig von KI stammen, aber als Werkzeug, um einmal zu prüfen, ob ein Text von KI erstellt wurde, dürfte es nützlich sein.
1 Kommentare
Ich habe es mit meinen eigenen Texten verglichen: Was ich selbst geschrieben habe, wurde mit 0 % eingestuft, was ich mit KI geschrieben und teilweise überarbeitet habe, mit 51 %, und was nur von KI geschrieben wurde, mit 100 % – es erkennt das also besser als gedacht ^^
Nur so eine Idee: Wenn man als Chrome-Browser-Erweiterung Inhalte nach denselben Kriterien wie https://github.com/mozilla/readability identifizieren und das Prüfergebnis wie eine Ampel anzeigen würde, wäre das noch praktischer.
(Es wäre auch gut, wenn nur die registrierten Seiten-Domains automatisch erkannt würden und der Rest wie bei einer Übersetzungsfunktion manuell ausgelöst werden könnte.)