Sind AI-Detektoren wirksam? Studierende sehen sich ungerechtfertigten Betrugsvorwürfen ausgesetzt

AI-Detektoren, die Studierende fälschlich des Betrugs bezichtigen – mit großen Folgen

• Rund zwei Drittel der Lehrkräfte geben an, regelmäßig Tools zur Erkennung von AI-generierten Inhalten zu verwenden. In diesem Umfang können sich selbst kleine Fehlerraten schnell summieren.

Der Fall Moira Olmsted

• Moira Olmsted hatte zu Beginn der Pandemie ihr Studium vorübergehend unterbrochen, um eine Familie zu gründen, und wollte unbedingt an die Hochschule zurückkehren.
• 2023 schrieb sie sich für einen Online-Kurs an der Central Methodist University ein, erhielt jedoch für eine eingereichte Aufgabe 0 Punkte, nachdem ein AI-Erkennungstool sie als möglicherweise AI-generiert eingestuft hatte.
• Olmsted sagte, dass sie aufgrund einer Autismus-Spektrum-Störung in einer formellen Weise schreibe und deshalb fälschlich für AI-generiert gehalten werden könne.
• Ihre Note wurde letztlich geändert, sie erhielt jedoch eine strenge Verwarnung, dass ein weiterer Vorfall wie Plagiat behandelt werde.

Probleme mit der Genauigkeit von AI-Schreibdetektoren

• Die besten AI-Schreibdetektoren sind sehr genau, aber nicht perfekt.
• Businessweek testete GPTZero und Copyleaks mit 500 Beispieltexten aus College-Bewerbungsessays, die kurz vor der Veröffentlichung von ChatGPT eingereicht worden waren.
• Die Dienste markierten fälschlich 1–2 % der Essays als wahrscheinlich von AI geschrieben.
• Von Fehlalarmen betroffene Studierende sind mit höherer Wahrscheinlichkeit neurodivers, nutzen Englisch als Zweitsprache oder wurden dazu angehalten, einen einfachen Wortschatz und einen mechanischen Stil zu verwenden.
• AI-Erkennungsdienste lassen sich mitunter auch von automatisierten Tools täuschen, die gezielt dafür entwickelt wurden, AI-Texte als menschlich erscheinen zu lassen.

Der Fall Ken Sahib

• Der mehrsprachige Student Ken Sahib, der den Großteil seiner Kindheit in Italien verbrachte, sagte, es sei „überwältigend“ gewesen, als er am Berkeley College für eine Lesezusammenfassung in einem Networking-Kurs 0 Punkte erhielt.
• Der Professor behauptete, der Text sei AI-generiert, und sagte, alle Tools hätten dasselbe Ergebnis geliefert.
• Sahib bestand den Kurs schließlich, doch der Vorfall verschlechterte sein Verhältnis zum Professor.

Probleme durch den Einsatz von AI-Detektoren

• Einige Lehrende rücken von AI-Detektoren ab und bemühen sich, AI in den Unterricht zu integrieren, doch an vielen Colleges und Highschools werden diese Tools weiterhin eingesetzt.
• Dadurch sind Klassenräume von Angst und Paranoia wegen falscher Anschuldigungen geprägt.
• Studierende sagen, sie müssten viel Zeit darauf verwenden, die Echtheit ihrer Arbeit zu verteidigen, was ihre Lernerfahrung verschlechtere.
• Manche haben sogar Angst, gängige AI-Schreibhilfen und Grammatikprüfer zu verwenden, die speziell an Studierende vermarktet werden.

AI-Detektor-Startups

• AI-Schreibdetektoren betrachten in der Regel die perplexity, also ein Maß für die Wortkomplexität eines eingereichten Textes.
• Unternehmen für AI-Erkennung betonen, dass ihre Dienste nicht als Richter, Jury und Vollstrecker behandelt werden sollten, sondern als Datenpunkt, der Lehrkräfte anleitet und informiert.
• Copyleaks gibt Studierenden Zugriff auf den Dienst, damit sie ihre eigenen AI-Werte sehen können.
• Turnitin erweitert sein AI-Produktportfolio um Dienste, die Studierenden helfen sollen, den Entstehungsprozess ihrer Schreibaufgaben sichtbar zu machen.

Wie Studierende damit umgehen

• Nachdem sie beschuldigt worden war, entwickelte Olmsted eine Obsession dafür, einer weiteren Anschuldigung zu entgehen. Sie nahm sich beim Bearbeiten von Schreibaufgaben auf dem Laptop per Bildschirmaufnahme auf und arbeitete in Google Docs, um Änderungen nachzuverfolgen und eine digitale Belegspur zu erzeugen.
• Nathan Mendoza, Student im dritten Jahr Chemieingenieurwesen an der UC San Diego, prüft seine Arbeiten vorab mit GPTZero. Er sagt, den Großteil seiner Zeit verwende er darauf, Formulierungen so anzupassen, dass sie nicht fälschlich von AI-Detektoren markiert werden.
• Andere Studierende beschleunigten diesen Prozess durch „AI-Humanizer“-Dienste, die Einreichungen automatisch umschreiben können, damit sie AI-Detektoren passieren.

„AI-Humanizer“-Dienste

• Laut einem Bloomberg-Test von Hix Bypass sank bei einem von einem Menschen geschriebenen Essay, den GPTZero fälschlich zu 98,1 % als AI einstufte, der AI-Anteil nach Bearbeitung durch diesen Dienst deutlich auf 5,3 %.

Probleme bei der Nutzung von Schreibhilfen wie Grammarly

• Studierende haben begonnen, den Einsatz beliebter Online-Schreibhilfen wie Grammarly zu überdenken.
• Bloomberg stellte fest, dass Arbeiten, die mit Grammarly „verbessert“ oder „akademischer“ formuliert wurden, von 100 % menschlich geschrieben zu 100 % AI-geschrieben umklassifiziert werden konnten.
• Kaitlyn Abellar vom Florida SouthWestern State College sagte, sie habe Plugins für Programme wie Grammarly von ihrem Computer entfernt.

Ein gegenwärtiges System, das nicht tragfähig ist

• Für einige Lehrende und Studierende wirkt das derzeitige System angesichts der Belastung auf beiden Seiten des Lehrerpults und der fortdauernden Präsenz von AI nicht tragfähig.
• Adam Lloyd, Englischprofessor an der University of Maryland, sagte: „Künstliche Intelligenz wird Teil der Zukunft sein, ob es uns gefällt oder nicht“, und „AI aus dem Unterricht herauszuhalten oder zu verhindern, dass Studierende sie nutzen, ist ein Irrweg.“

Meinung von GN⁺

• Fehlalarme von AI-Erkennungstools können insbesondere für neurodiverse Studierende, Englischlernende und Studierende mit schlichtem Schreibstil schwerwiegende Folgen haben. Bildungseinrichtungen sollten diese Gruppen berücksichtigen und AI-Ergebnisse vorsichtig interpretieren.
• Das Wettrüsten zwischen AI-Detektoren und „AI-Humanizer“-Diensten untergräbt das Vertrauen zwischen Lehrenden und Studierenden und bringt kaum pädagogischen Nutzen. Langfristig könnte es der bessere Ansatz sein, Wege zur Integration von AI in den Unterricht zu suchen.
• Statt den Einsatz von Tools wie Grammarly zur Verbesserung der Schreibkompetenz zu verbieten, sollte erwogen werden, sie pädagogisch sinnvoll zu nutzen. Lehrkräfte könnten zum Beispiel selbst empfohlene Tool-Listen bereitstellen oder gute Nutzungsweisen anleiten.
• Dass AI-Erkennungsunternehmen wie Copyleaks und Turnitin versuchen, studierendenfreundliche Dienste zu entwickeln, ist eine positive Veränderung. Dennoch ist es wünschenswert, verdächtige Fälle eher durch offene Kommunikation mit Studierenden zu behandeln, als sich übermäßig auf solche Tools zu verlassen.
• Um sich auf eine Zukunft vorzubereiten, in der AI und Menschen zwangsläufig koexistieren, ist es wichtig, Studierenden den ethischen Einsatz von AI-Tools zu vermitteln und ihre kreativen und kritischen Denkfähigkeiten zu fördern. Dafür sind innovative Veränderungen in Lehrplänen und Bewertungsmethoden erforderlich.

[GN⁺]

Hacker-News-Kommentare

• Basierend auf 30 Jahren Erfahrung im Unterrichten von Mathematik in der Hochschulbildung ist Schummeln bei Prüfungen im Fernformat weit verbreitet. Die Lösung wäre, den Einsatz von Technik zu verbieten und Präsenzprüfungen zu verlangen, aber dann würden sich die Studierenden nicht für die Kurse einschreiben. Der Hochschulrat sollte dies meiner Meinung nach für alle Kurse verpflichtend machen. Doch Präsenzprüfungen allein reichen nicht aus. Studierende haben sich daran gewöhnt, Aufgaben nur zu erledigen, um zu bestehen, statt zu lernen, und das Schummeln nimmt zu. Auch die K-12-Bildung muss sich ändern.

• Da AI bleiben wird, brauchen wir neue Methoden, um die Leistungen von Studierenden zu bewerten. Früher waren Taschenrechner in Prüfungen verboten, weil man sie nicht benutzen durfte, heute leben wir in einer Zeit, in der man 24/7 einen Taschenrechner nutzen kann. Wir müssen uns an den Wandel anpassen und als Gesellschaft gemeinsam entscheiden, wie wir damit umgehen.

• Das Problem ist, dass den Studierenden nicht erklärt wird, warum AI ihre Arbeit markiert hat. Ein Algorithmus sollte genau erklären können, warum er bestimmte Arbeiten markiert hat. Derzeit können AI-basierte Lösungen das nicht leisten und sind deshalb ungeeignet.

• Die Lehrerin eines Schülers warnte, dass alle Essays mit AI-Erkennungssoftware überprüft würden, doch genau diese Warnung stellte sich selbst als AI-generiert heraus.

• Als Berater in einem großen Universitätsklinikum nutze ich ChatGPT, um Englisch knapper und geschäftsmäßiger zu formulieren. AI-Detektoren funktionieren vielleicht, sind aber nicht nützlicher als eine Rechtschreibprüfung. AI ist nur ein großes Sprachmodell und eigentlich kein Modell der Fakten. Lehrkräfte müssen gute Lügnerkenner sein.

• Wenn AI-Erkennung nicht zu 100 % genau ist, dann ist sie meiner Ansicht nach ungeeignet, um über die Zukunft von Millionen Studierenden und jungen Menschen zu urteilen. Wir müssen uns von Technik oder dem Essay-Format lösen. Die Maßstäbe dafür, was als Beherrschung eines Themas gilt, müssen geändert werden.

• Für Menschen kann es leicht sein, AI-generierte Arbeiten zu erkennen, aber es ist schwer, das in einen Computer zu programmieren. In einem früheren Job hatte ich mit Plagiatserkennung zu tun und habe erkannt, wie leicht sich solche Systeme täuschen lassen.

• Es ist widersprüchlich, wenn Lehrkräfte LLM-Detektoren einsetzen, um Studierende durchfallen zu lassen. Sie werfen den Studierenden vor, die Aufgabe nicht verstanden zu haben, während sie selbst die Entscheidung des Tools nicht verstehen und die Verantwortung abwälzen.

• An der Schule meiner Kinder wurden AI-gesteuerte Waffenscanner eingeführt, aber sie erkannten die von der Schule ausgegebenen Lenovo-Laptops als Waffen. Man kauft AI-Produkte und vertraut ihnen, aber sie funktionieren nicht richtig.

• Es ist erstaunlich, dass Menschen angefangen haben, Algorithmen zu vertrauen. Sie wissen nicht, wie sie funktionieren, können es nicht erklären, glauben aber einfach, dass sie funktionieren. Wenn jemand des Schummelns überführt wird, kann man nichts dagegen tun. Es gibt viele Leute, die keine Verantwortung übernehmen. Früher wurde man vielleicht des Schummelns verdächtigt, aber wenn es nicht bewiesen werden konnte, spielte das keine Rolle. Heute braucht es keinen Beweis mehr, weil man glaubt, das System habe schon recht.