- AI Classifier war ein Tool, das eingeführt wurde, um Texte zu identifizieren, die mit generativer KI wie ChatGPT geschrieben wurden; nach rund einem halben Jahr wurde der Betrieb wegen geringer Genauigkeit eingestellt
- Die Einstellung wurde nicht separat angekündigt, sondern nur über eine Notiz, die dem Blogbeitrag zur ursprünglichen Vorstellung des Tools hinzugefügt wurde; auch der Link zum Classifier ist nicht mehr zugänglich
- Schon zum Start hatte OpenAI erklärt, der Classifier sei „nicht vollständig zuverlässig“; er erkannte nur 26 % der KI-generierten Texte und stufte 9 % der von Menschen geschriebenen Texte fälschlicherweise als KI-generiert ein
- Es gab Einschränkungen wie geringere Zuverlässigkeit bei Texten unter 1.000 Zeichen, Fehlklassifizierungen menschlicher Texte und schwächere Leistung außerhalb der Trainingsdaten
- Besonders der Bildungssektor, der sich Sorgen machte, dass Schüler ChatGPT zum Schreiben von Essays nutzen, zeigte Interesse an diesem Bereich; ein Bewusstsein für die Grenzen und Auswirkungen von KI-Text-Classifiern ist wichtig
Einstellung des AI Classifier
- Der AI Classifier wurde vergangene Woche wegen einer „geringen Genauigkeit (low rate of accuracy)“ still und leise außer Betrieb genommen
- Erklärt wurde dies nicht durch eine neue separate Mitteilung, sondern nur über eine Notiz, die dem Blogbeitrag zur ursprünglichen Ankündigung des Tools hinzugefügt wurde
- Der Link zum OpenAI-Classifier wird ebenfalls nicht mehr angeboten
Hintergrund der Einführung und ursprüngliche Leistung
- OpenAI stellte das Tool im Januar als Werkzeug vor, das erkennen sollte, ob Inhalte mit generativer KI wie ChatGPT erstellt wurden
- Es wurde mit der Behauptung eingeführt, zwischen von Menschen und von KI geschriebenen Texten unterscheiden zu können; zugleich hieß es schon damals ausdrücklich, es sei „nicht vollständig zuverlässig“
- OpenAI veröffentlichte Kennzahlen aus einer Bewertung mit einem englischsprachigen „challenge set“
- 26 % der KI-generierten Texte wurden korrekt als „wahrscheinlich KI-generiert“ identifiziert
- 9 % der von Menschen geschriebenen Texte wurden fälschlicherweise als KI-generiert klassifiziert
Grenzen des AI Classifier
- Geringe Zuverlässigkeit bei Texten mit weniger als 1.000 Zeichen
- Von Menschen geschriebene Texte wurden fälschlicherweise als KI-generiert klassifiziert
- Neuronale netzbasierte Classifier zeigten schwache Leistung in Bereichen außerhalb der Trainingsdaten
OpenAIs künftige Richtung
- OpenAI arbeitet daran, Feedback zu berücksichtigen, und erforscht effektivere Provenance-Methoden (Herkunftsnachweise) für Texte
- Das Unternehmen versprach, Mechanismen zu entwickeln und bereitzustellen, mit denen Nutzer erkennen können, ob Audio- und Videoinhalte KI-generiert sind
Bildungssektor und Nachfrage nach KI-Erkennung
- Seit der Veröffentlichung von ChatGPT im November äußerten Lehrkräfte Sorgen über den Missbrauch durch Schüler beim Schreiben von Essays
- OpenAI erkennt an, dass die Identifizierung von KI-Texten unter Lehrkräften ein wichtiges Diskussionsthema war, betont aber, dass es ebenso wichtig ist, sich der Grenzen und Auswirkungen von Classifiern für KI-generierte Texte im Klassenzimmer bewusst zu sein
- Da fast täglich immer ausgefeiltere KI-Tools erscheinen, ist eine Kleinstindustrie für KI-Detektoren (cottage industry) entstanden
- Auf die Bitte von Decrypt um Stellungnahme gab es bislang keine Antwort
1 Kommentare
Meinungen auf Hacker News
Gut, dass sie es getan haben, aber selbstverständlich hätten sie es ankündigen müssen.
Es ist erstaunlich, wie viele Menschen im Ökosystem glauben, man könne anhand von nur ein paar Sätzen erkennen, ob etwas von einer KI geschrieben wurde. Noch absurder ist, dass Menschen mit Entscheidungsbefugnis tatsächlich auf Urteile von Tools für „KI-geschrieben vs. von Menschen geschrieben“ vertrauen und danach handeln, obwohl diese das in Wirklichkeit nicht garantieren können.
Hoffentlich wird das ein weiteres Beispiel dafür, dass sich schlicht nicht feststellen lässt, ob ein String von einem LLM ausgegeben wurde oder nicht.
Solche Modelle sind von Anfang an zum Scheitern verurteilt, es sei denn, ihre Parameter werden streng geheim gehalten und leaken niemals. Und selbst wenn sie geheim sind, heißt das nur, dass nur Personen mit Zugriff sie täuschen können und alle anderen nicht; am Ende hat die Gegenseite ebenfalls einen Anreiz, ihr eigenes Modell zu bauen, und es wird zu einem endlosen Wettrüsten.
Die eigentliche Antwort sollte sein, bessere Tools zu entwickeln, die guten Content automatisch erkennen – egal ob von Menschen oder von KI geschrieben. Wenn das möglich wird, wäre es enorm hilfreich, und selbst wenn daraus Wettbewerb entsteht, konkurriert man immerhin darum, Inhalte von höherer Qualität zu erstellen.
Die Informationen, über die ein „Detektor“ verfügt, sind extrem gering; das einzig halbwegs vernünftige Kriterium ist so etwas wie der Schreibstil. ChatGPT hat zwar einen bestimmten Stil, aber keineswegs nur einen einzigen; je besser es wird, desto besser wird es definitionsgemäß in immer vielfältigeren Stilen schreiben.
Wenn das Problem darin besteht, dass Menschen es falsch verwenden, dann ist das Tool eher nicht für den Anwendungsfall entworfen, den die Leute brauchen. Wenn es zum Beispiel problematisch ist, es bei zu wenigen Sätzen zu verwenden, könnte man eine Bedingung wie eine Mindestanzahl an Sätzen einbauen, um ein Mindestmaß an Zuverlässigkeit sicherzustellen.
Dasselbe gilt dafür, die Bedeutung zu vermitteln. Wenn Menschen Statistik oder Mathematik nicht verstehen, kann man die Bedeutung visuell darstellen, etwa mit Kreisen oder Münzen. Optionen wegzunehmen scheint mir nichts Gutes zu sein, besonders nicht, wenn man Menschen zynisch so beurteilt, als hätten sie diese Optionen nicht verdient.
Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]
Gut so. Wenn es nicht vertrauenswürdig ist, richtet es eher Schaden an, weil es ein falsches Sicherheitsgefühl vermittelt.
Ein ähnliches Beispiel: Die lokale Pizzeria mit Lieferservice, bei der ich gearbeitet habe, versiegelte die Kartons mit einem Sicherheitsaufkleber, damit Lieferfahrer sie nicht öffnen oder etwas herausnehmen konnten. Aus logistischen Gründen wurde das aber gelegentlich vergessen. Kartons ohne Aufkleber wurden von Kunden komplett zurückgeschickt, weil sie befürchteten, Pepperoni könnten gestohlen worden sein, und nach kurzer Zeit wurde das System wieder eingestellt.
Ähnlich wie man bei einer Aspirinflasche nicht sagen würde: Weil jemand in der Produktion vergessen hat, ein Sicherheitssiegel anzubringen, schaffen wir alle Siegel ab.
Dieses Tool hat in der Wissenschaft eine Menge falscher Anschuldigungen befeuert. Meine Frau promoviert, und sie erzählt mir oft von Professoren, die Studierende fälschlich beschuldigen, ChatGPT verwendet zu haben.
Ich habe neulich gehört, dass Lehrkräfte Hausaufgaben in Google Docs einreichen lassen, damit sie anhand der Versionshistorie prüfen können, ob der gesamte Text selbst geschrieben wurde oder ob ein fertiger Essay eingefügt und nur noch bearbeitet wurde.
Natürlich wird ein kluger Schüler leicht herausfinden, wie man GPT-Ausgaben in Google Docs streamt. Man kann es sogar so aussehen lassen, als würde man zwischendurch herumgehen und „überarbeiten“.
Clevere und unethische Schüler lassen sich fast nicht erkennen, egal welche Hürden man aufstellt. Das hält nur die weniger cleveren Schüler auf.
Jeder könnte einen Agenten bauen, der einen von ChatGPT erzeugten Text langsam in Google Docs eintippt. Google könnte wohl ebenfalls einschätzen, ob ein Dokument wahrscheinlich von einem Menschen eingegeben wurde, wird es aber aus denselben Gründen nicht tun, aus denen OpenAI dieses Tool eingestellt hat.
Irgendjemand wird diese Nachricht oder diesen Thread sehen und so einen Editor oder Evaluator bauen. Eine andere Lösung wäre, beim Schreiben eine Bildschirmaufnahme zu machen. Die beste Lösung – und für Lehrkräfte die schwierigste – wäre, nicht zu verlangen oder zu bewerten, was Roboter besser schreiben können als die meisten Menschen.
Allerdings ist das nicht besonders gut. Projekte zu Hause bewerten andere Fähigkeiten; manche sind in dem einen besser, andere in dem anderen. Aber die Realität ist nun einmal die Realität.
Wenn es mehr als 30 Schüler gibt, ist es eher unwahrscheinlich, dass die Lehrkraft jede Versionshistorie einzeln prüft.
Zu der Schlussfolgerung „ein halbes Jahr später war das Tool tot, weil es seinen Zweck nicht erfüllte“ bin ich beim Testen von Bilddetektoren ganz genauso gekommen.
Die aktuelle automatische Erkennung ist nicht besonders zuverlässig. Ich habe AI or Not von Optic, das 95 % Genauigkeit beansprucht, mit einigen meiner Bilder ausprobiert. Bilder mit KI-Inhalten wurden korrekt als KI-generiert markiert, aber etwa 50 % meiner selbst erstellten Stockfoto-Composings wurden ebenfalls als KI-generiert markiert.
Wenn generative KI kein bewegliches Ziel wäre, wäre ich optimistisch, dass solche Tools sich weiterentwickeln und sehr zuverlässig werden könnten. Aber die Realität sieht anders aus, und ich bezweifle, dass dies irgendwann eine verlässliche Lösung wird.
Das stammt aus meinem Beitrag über KI-Kunst: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...
Meiner Erfahrung nach ließ sich die Erkennung mit sehr hoher Wahrscheinlichkeit umgehen, wenn eine ChatGPT-Antwort von Tools wie ZeroGPT als KI-generiert eingestuft wurde, indem man den Prompt nur leicht änderte und anwies, es solle nicht so klingen, als sei es von einer KI geschrieben.
Außerdem kam es häufig vor, dass die Antwort bei den meisten KI-Erkennungsmodellen als 100 % von Menschen geschrieben erschien, wenn man sie im Stil eines bekannten Autors erzeugen ließ.
Durch die jüngsten Updates hat sich der Ton von ChatGPT offenbar deutlich verändert, sodass er jetzt nicht mehr auf dem Erkennungsradar auftaucht.
Gut. Auch Wasserzeichen in KI-Ausgaben halte ich für eine Sackgasse. Besser wäre es, alle Inhalte bis zum Gegenbeweis als Fälschung anzunehmen.
Wenn man vertrauenswürdige Fotos braucht, scheint es besser, das Bild im Moment der Aufnahme auf Hardwareebene kryptografisch zu signieren. Freiwillige Wasserzeichen in KI-Inhalten sind völlig bedeutungslos.
Ich bin in der SEO-Branche und habe mit einigen „Schwergewichten“ gesprochen, die überzeugt waren, dass ein Google-AI-Update in Vorbereitung ist. So wie es derzeit aussieht, werden Suchergebnisse in naher Zukunft vollständig von KI-Inhalten überrannt.
Langfristig halte ich das für einen törichten Zug, aber derzeit gibt es KI-Klassifizierer, die ChatGPT und andere Modelle in längeren Texten recht erfolgreich erkennen. Originality.ai ist ein prominentes Beispiel.
Die Methode ist ziemlich simpel: Man erzeugt enorme Mengen an Beispielen aus großen Modellen wie ChatGPT, GPT-4 und LLaMA und baut daraus ein Klassifikationsmodell.
Die offensichtliche Schwäche dieser Strategie ist, dass Fine-Tuning den Stil der Ausgabe verändert. Derselbe „Schwergewicht“-Kontakt sagte, er habe es mit einer eigenen Fine-Tuning-Methode geschafft, den Originality.ai-Detektor zu umgehen, und dafür seien Monate an Tests und Tausende Dollar nötig gewesen.
Der aktuelle Zustand von Google ist eine Katastrophe. Jeder Artikel ist 100 Absätze lang, und die gesuchte Antwort ist irgendwo in der Mitte vergraben, um Verweildauer und Scrolltiefe zur Befriedigung des Algorithmus zu erhöhen.
Ich warte darauf, dass Google all diese Spam-Websites versenkt.
Viele Beiträge hier scheinen davon auszugehen, dass es praktisch unmöglich werden wird, von Menschen erzeugten Text und KI-generierten Text zu klassifizieren. Solche Versuche können in einem endlosen Katz-und-Maus-Spiel auf verschiedene Weise ausgehebelt werden.
Wenn man das akzeptiert, sehe ich die Herausforderung so:
Wir stehen erst ganz am Anfang der KI-Revolution, und damit LLMs künftig ausgefeilter und leistungsfähiger werden, brauchen sie hochwertige, von Menschen erzeugte oder von Menschen kuratierte Trainingsdaten. Der Umfang dürfte so groß sein, dass manuelles Kuratieren, Bereinigen und Qualitätsprüfen schwierig wird.
Und es besteht kein Zweifel, dass künftig alle Medien mit KI-generierten Inhalten bombardiert und zugespammt werden.
Wie können wir also echte Daten von KI-generiertem Rauschen trennen, um künftige LLMs zu trainieren und ihr Potenzial auszuschöpfen?
Dieses Problem beschäftigt mich schon eine Weile, und mangels eines besseren Begriffs habe ich es früher provisorisch Datenverschmutzung genannt. Ich bin gespannt auf andere Perspektiven.
Die einzige Möglichkeit, auf digitalen Plattformen zu verhindern, dass KI Fragen beantwortet, bestünde darin, eine Machine-Learning-Datenbank mit dem Tippstil aufzubauen, den ein Student während seiner gesamten Zeit an einer Institution ansammelt.
Viel Glück dabei, dafür die Zustimmung zu bekommen. Fachbereiche können selbst auf Noten oder demografische Daten erst zugreifen, wenn eine operative Gruppe ein dreistufiges Ausschussverfahren durchlaufen hat.
¯_(ツ)_/¯ Dann bleibt wohl nur Papier. Es ist Zeit, OCR wieder zu üben.
Allerdings haben Google, Microsoft, Meta und jedes Unternehmen, das Dokumenten-, E-Mail- oder Messaging-SaaS betreibt, deutlich mehr echte Tippstil-Daten. Viele Studierende schreiben ihre Essays vermutlich in Google Docs, Word und ähnlichen Tools und reichen sie dann als Anhang ein oder kopieren sie in ein Textfeld.