Opus 4.7 kennt Kelsey wirklich

• Claude Opus 4.7 von Anthropic identifizierte allein anhand eines unveröffentlichten Entwurfs mit 125 Wörtern Kelsey Piper als wahrscheinlichste Autorin; im Inkognito-Modus, auf dem Computer eines Freundes und in API-Tests kam dasselbe Ergebnis heraus
• ChatGPT und Gemini vermuteten bei demselben Text Matt Yglesias bzw. Scott Alexander, doch Claude Opus 4.7 identifizierte Piper wiederholt auch in Texten mit anderem Genre und anderer Entstehungszeit, etwa einem Bildungsentwurf, einer Filmkritik, einem Fantasyroman und einem College-Bewerbungsessay von vor 15 Jahren
• Die vom Modell gelieferten Begründungen waren oft nicht überzeugend; tatsächlich scheint es weniger wie ein menschlicher Detektiv zu schlussfolgern, sondern schwer erkennbare stilistische Ticks zu erfassen
• Menschen wie Piper, die viele unter Klarnamen veröffentlichte Texte im Internet haben, können selbst in AI-Chats oder Beiträgen unter anonymen Accounts ihre Anonymität verlieren; auch mehrere Personen aus der Wissenschaft und Forschende aus der Industrie berichten, bei Entwürfen oder mitten im Chat identifiziert worden zu sein
• Personen ohne viele öffentlich unter Klarnamen veröffentlichte Texte werden bislang nicht schon durch einen einzigen Absatz deanonymisiert, doch das Modell konnte den Kreis immerhin so weit eingrenzen, dass es enge Freunde oder Mitglieder desselben Discord-Kanals vermutete, und die künftig nötige Menge an öffentlichem Text dürfte weiter sinken

---

Experimente zur Autorenerkennung mit Opus 4.7

• Das neue Modell Claude Opus 4.7 von Anthropic identifizierte allein anhand eines unveröffentlichten Entwurfs mit 125 Wörtern Kelsey Piper als wahrscheinlichste Autorin
• Beim selben Text tippte ChatGPT auf Matt Yglesias, Gemini auf Scott Alexander
• Weder Kontospeicher noch Nutzerinformationen waren aktiviert; getestet wurde im Inkognito-Modus, auf dem Computer eines Freundes und per API, jeweils mit demselben Ergebnis
• Der erste Testabsatz wirkte wie der Einstieg in eine politische Kolumne, und weil viele öffentlich zugängliche Texte von Piper im Internet stehen, war es keine unmögliche Form von Stilerkennung
• Doch Opus 4.7 erkannte Piper auch in Texten weiter, die weit von ihren bekannten öffentlichen Themenfeldern entfernt lagen, was das Ergebnis deutlich befremdlicher machte

Erkennung trotz anderem Genre und anderer Entstehungszeit

• Bildungsbezogener Entwurf

  • Auch bei einem unveröffentlichten Entwurf eines schulischen Fortschrittsberichts antwortete Claude mit „Kelsey Piper“
  • Beim selben Text tippte ChatGPT auf Freddie deBoer, Gemini auf Duncan Sabien
  • Bildung war kein völlig fachfremdes Gebiet, da Piper bereits dazu geschrieben hat

• Filmkritik

  • Selbst im Format einer Filmkritik, das Piper in ihren veröffentlichten Texten nie verwendet hatte, lagen Claude und ChatGPT mit Kelsey Piper richtig
  • Gemini schlug Ursula Vernon vor, und Claude Opus 4.6 aus der Vorwoche antwortete mit großer Sicherheit Elizabeth Sandifer
  • Die im Test verwendete Kritik handelte von einem Film aus der Zeit des Zweiten Weltkriegs und von To Be or Not To Be

• Fantasyroman

  • Bei einem Fantasyroman-Entwurf brauchte Claude etwa 500 Wörter, bevor es auf Kelsey Piper kam
  • Im selben Fall tippte ChatGPT auf die tatsächliche Fantasyautorin K.J. Parker

• College-Bewerbungsessay von vor 15 Jahren

  • Auch bei einem College-Bewerbungsessay, der vor 15 Jahren geschrieben wurde, identifizierten Claude und ChatGPT Kelsey Piper
  • Dieser Test erforderte einen stärkeren Prompt, um Claudes Tendenz zu überwinden, die Identifizierung von Studienbewerbenden zu verweigern
  • Da der Essay Erfahrungen mit politischen Debatten enthielt, bleibt möglich, dass das Modell daraus schloss

Die Erklärungen des Modells sind schwer vertrauenswürdig

• Nachdem die AI Kelsey Piper genannt hatte, ergaben ihre Begründungen oft keinen Sinn
• Claude versuchte überzeugend darzustellen, dass To Be or Not To Be ein Film sei, den Effektive Altruisten bekanntermaßen mögen, doch Piper hält das für falsch
• ChatGPT antwortete, der College-Bewerbungsessay wirke wie der Text einer Person, die später komplexe politische Ideen erklären werde, und habe ihn deshalb auf Kelsey Piper eingegrenzt
• Solche Erklärungen wirken nachträglich konstruiert; das Modell spricht zwar so, als würde es wie ein menschlicher Detektiv folgern, tatsächlich scheint es aber schwer erkennbare stilistische Ticks zu erfassen
• Halluzinationen von AI sind kein gelöstes Problem, und Opus 4.7 verfügt trotz seltsam rationalisierter Methode über eine sehr starke grundlegende Fähigkeit zur Autorenerkennung

Verschwindende Anonymität im Gespräch mit AI

• Beim Öffnen eines neuen AI-Chats fühlt es sich zunächst an, als gäbe es Anonymität, doch nach einigen inhaltlichen Nachrichten kam Piper zu dem Schluss, dass Claude erkennen kann, wer ihm gegenübersitzt
• Für Personen wie Piper, die viele öffentliche Texte im Internet hinterlassen haben, gibt es aus ihrer Sicht keine Anonymität mehr
• Schon mit heutigen AI-Tools könnte es möglich sein, Texte unter anonymen Accounts zu deanonymisieren, wenn die Person ein großes öffentliches Textkorpus unter Klarnamen veröffentlicht hat
• Eine Ausnahme könnte gelten, wenn jemand über Jahre extrem sorgfältig darauf geachtet hat, dass sich in Beiträgen unter Nebenaccounts keine stilistischen Fingerabdrücke des Hauptaccounts finden
• Mehrere Personen aus der Wissenschaft und Forschende aus der Industrie berichten ebenfalls, bei Entwürfen oder während eines Chats identifiziert worden zu sein

Noch kann nicht jeder mit einem Absatz identifiziert werden

• AI kann nicht jede Person schon anhand eines einzigen Absatzes deanonymisieren
• Als Entwürfe und Absätze von Freunden getestet wurden, die nur wenige Texte unter Klarnamen veröffentlicht haben, konnte die AI sie nicht deanonymisieren
• Wer im öffentlichen Internet keine nennenswerten Texte unter echtem Namen veröffentlicht hat, ist derzeit wohl noch sicher
• Doch bei Aussagen eines Freundes in einem Discord-Kanal, der fast keine öffentlichen Social-Accounts oder Online-Texte hat, scheiterte Claude 4.7 zwar, vermutete aber zwei enge Freunde aus demselben Kanal
• Mit mehr Absätzen tauchten teils andere gemeinsame Freunde auf, und bei Texten eines anderen Freundes wurde wiederum fälschlich noch ein anderer Freund genannt

Stil ist identifizierbarer als erwartet

• Menschen übernehmen in ihren jeweiligen Subkulturen stilistische Ticks, und dadurch wird Text stärker identifizierbar als viele erwarten
• Mit sehr wenig Information können Modelle auf erstaunlich nahe Kandidaten kommen
• Die heutigen Modelle dürften noch zu den schwächsten AI-Systemen gehören, die es künftig geben wird
• Die Menge an öffentlichem Text, die für solche Deanonymisierung nötig ist, dürfte mit der Zeit weiter sinken
• Wer nach dem Verlassen eines Arbeitgebers eine ausführliche anonyme Bewertung auf Glassdoor hinterlässt, muss wohl damit rechnen, dass das Unternehmen den Text in ein bis zwei Jahren in eine AI einfügt und herausfindet, wer ihn geschrieben hat

Möglichkeiten zur Vermeidung und das verbleibende Fazit

• Wer anonym bleiben will, muss vermutlich absichtlich in einem stark veränderten Stil schreiben
• Alternativ könnte man alle Texte von AI umschreiben lassen, doch eine solche Welt hält Piper nicht für wünschenswert
• Das ist keine gute Entwicklung, sondern eher eine vorhersehbare
• Piper glaubt, dass es zuerst sie traf, weil sie ihr ganzes Erwachsenenleben lang beharrlich im Internet geschrieben hat, und dass es am Ende auch anderen passieren dürfte
• Die Anonymität von Menschen, die viel schreiben, wird vermutlich nicht lange halten, und anonyme Autorinnen und Autoren sollten das im Voraus wissen, statt plötzlich davon überrascht zu werden