Die von LLMs erzeugten „AI-Gerüche“
(shvbsle.in)- LLM-gestütztes Schreiben verbesserte anfangs Wortwahl und Satzstruktur, sodass es sich nicht wie minderwertiger KI-Text anfühlte, doch einige Monate später tauchten dieselben Spuren im gesamten Internet immer wieder auf
- In von LLMs verfassten Texten erscheinen wiederkehrende stilistische Muster wie übermäßig viele einzeilige, aphoristische Sätze, aufeinanderfolgende kurze Sätze und Formulierungen nach dem Muster „X ist das Y von Z“
- Auf KI-generierten Websites tauchen visuell ähnliche UI-Elemente wiederholt auf, darunter die JetBrains-Mono-Schriftart, identische Step-/Bullet-Layouts, bestimmte Button- und Card-Designs sowie blinkende Badge-Punkte
- Entscheidend ist nicht die Ablehnung des Einsatzes von LLM/AI in kreativer Arbeit an sich, sondern das Sammeln und Beobachten von Mustern, die sich im Schreiben und auf Websites wiederholt erkennen lassen
Der „AI-Geruch“ von LLM-Texten
- Als Ende letzten Jahres zum Überarbeiten eines Mathematik-Blogposts ein LLM verwendet wurde, verbesserten sich Wortwahl und Satzstruktur, sodass der Text nicht wie von KI erzeugter minderwertiger Inhalt wirkte
- Etwa drei Monate später tauchten dieselben Satzstrukturen im gesamten Internet wiederholt auf und wirkten wie erkennbare Spuren KI-gestützter Arbeit insgesamt
- Neben dem übermäßigen Einsatz von em dashes traten die folgenden drei Stil-Muster wiederholt auf
Wiederkehrende Muster in Texten und auf Websites
-
Übermäßige einzeilige Pointen (Punchlines)
- Kurze, prägnante deklarative Sätze erscheinen übermäßig häufig
- "Humans trust symmetry because it feels like intelligence made visible."
"Menschen vertrauen Symmetrie, weil sie sich anfühlt wie sichtbar gewordene Intelligenz." - "The Tiger fit the story. Jin-yong fit the physics."
"Der Tiger passte zur Geschichte. Jin-yong passte zur Physik." - "Symmetry becomes a trap."
"Symmetrie wird zur Falle."
- "Humans trust symmetry because it feels like intelligence made visible."
- Kurze, prägnante deklarative Sätze erscheinen übermäßig häufig
-
Aufeinanderfolgende kurze Sätze
- Eine Struktur, in der kurze Sätze hintereinander aufgereiht werden, wiederholt sich
- "Yet the tilt is not an accident. It is the shape of the optimum."
"Doch die Neigung ist kein Zufall. Sie ist die Form des Optimums." - "Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony."
"Dann kam AlphaEvolve. Es hatte keine Vorliebe für Symmetrie. Kein ästhetisches Vorwissen. Keinen Instinkt, Harmonie zu bewahren." - "These examples are not decorative. They form a distributed argument."
"Diese Beispiele sind kein bloßer Schmuck. Sie bilden ein verteiltes Argument."
- "Yet the tilt is not an accident. It is the shape of the optimum."
- Eine Struktur, in der kurze Sätze hintereinander aufgereiht werden, wiederholt sich
-
Das Muster „X ist das Y von Z“
- Ein festes Muster, mit dem bestimmte Konzepte metaphorisch definiert werden
- "Cringe is the visible signature of moving along a gradient you chose."
"Cringe ist die sichtbare Signatur dafür, dass du dich entlang eines Gradienten bewegst, den du selbst gewählt hast."
- "Cringe is the visible signature of moving along a gradient you chose."
- Ein festes Muster, mit dem bestimmte Konzepte metaphorisch definiert werden
-
Das Muster „nicht einfach nur X, sondern Y“
- Eine Satzstruktur, die durch Kontrast Nachdruck erzeugt
- "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
"Lösungen, die nicht nur die Randbedingung erfüllen, sondern auch den ästhetischen Instinkten genügen"
- "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
- Eine Satzstruktur, die durch Kontrast Nachdruck erzeugt
Der „AI-Geruch“ von KI-generierten Websites
- Nicht nur beim Schreiben, sondern auch beim Design KI-generierter Websites tauchen homogenisierte visuelle Muster wiederholt auf
-
JetBrains-Mono-Schriftart
- Auf vielen von KI erzeugten Webseiten wird durchgängig die Schriftart JetBrains Mono verwendet
-
Identische Step- und Bullet-Layouts
- Zusammen mit dieser Schriftart wiederholen sich Step-Aufbau und Bullet-List-Layouts in nahezu identischer Form
-
Button- und Card-Designs
- Bestimmte Button-Stile und Card-Component-Designs erscheinen auf mehreren Websites identisch
-
Blinkender Punkt in Badges (Blinking Dot)
- Ein blinkender Punkt (blinking dot) innerhalb einer Badge-Component lässt sich als wiederkehrendes UI-Element erkennen
- Fußnote: Die Person lehnt den Einsatz von LLM/AI bei kreativer Arbeit nicht grundsätzlich ab; dies ist eher eine Beobachtung, die wiederholt erkennbare Muster sammelt.
3 Kommentare
Ich versuche gerade, dazu ein Open-Source-Projekt zu entwickeln. Solche Beiträge sind ebenfalls eine große Hilfe als Referenz.
https://github.com/devswha/patina
Ich stimme zu.
Ich habe erlebt, dass sich von KI geschriebene Texte schwer lesen lassen, so wie man Werbebanner ganz natürlich ausblendet.
Hacker-News-Kommentare
LLMs wirken oft besonders gut, wenn sie Dinge tun, die ich selbst nicht kann. Wenn ich das Gefühl habe, dass die Ausgabe eines LLMs in einem bestimmten Bereich viel besser ist als meine eigene, ist die Wahrscheinlichkeit groß, dass mir die Kompetenz fehlt, diese Qualität richtig zu beurteilen
Die eine Seite sagt: „Die AI erzeugt Code, den ich selbst nie hätte schreiben können, erledigt in einem Rutsch Arbeiten, die sonst Tage dauern würden, und hat meine Produktivität verzehnfacht.“ Die andere sagt: „Die AI produziert ständig miserablen Code, alles muss nachbearbeitet werden, sie macht Fehler, man muss sie überwachen, und am Ende frisst sie nur Zeit.“ Wenn die Ausgabe desselben Produkts so unterschiedlich wahrgenommen wird, gibt es für das erste Lager eher schlechte Nachrichten
Umgekehrt schreibe ich fast nie Code und habe das beruflich auch nur ein einziges Mal gemacht, aber wenn Claude in ein paar Sekunden Code ausspuckt, fühlt es sich an, als wäre ich ein Übermensch und bald Milliardär. Dann erinnere ich mich daran, dass Claude nicht einmal erträglich lesbare Texte schreiben kann, und dass ich zwar gut schreibe, aber nicht programmieren kann, lösche den Code und gehe wieder zu Arbeit zurück, die mehr Geld einbringt
Vor einem Jahr hätte ich das wohl noch nicht gesagt. Sie produzieren plausibel klingenden Unsinn so, dass selbst Fachleute ihn nicht ohne Weiteres erkennen, daher muss man sie wie ein Habicht beobachten, aber die inneren Würfel fallen inzwischen immer öfter auf die richtige und nützliche statt auf die falsche oder unbrauchbare Seite
Ein Buch pro Monat ist kein hohes Ziel. Es muss nicht gleich Melville, Hemingway, Chaucer oder Shakespeare sein; nimm einfach irgendeinen NYT-Bestseller, und er ist immer noch viel besser als alles, was ein LLM schreiben kann
LLMs bevorzugen kodifizierte Stile wie aus „Lehrbuch/technischem Handbuch“, vermutlich weil das für Menschen nützlicher ist. Aber menschliches Schreiben besteht nicht nur darin, die elegantesten Sätze zu bauen; manchmal ist großartiges Schreiben auch so etwas wie dieses Welpenbild-Meme: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...
Formulierungen wie „honest caveat:“, „genuine caveat:“, „honest answer:“, „The thing to internalize:“ oder „The smoking gun:“ wirken stark nach LLM-Tonfall
Besonders Sätze, die mit „The ___:“ beginnen, außerdem „load bearing“, wenn es nicht um Architektur geht, „blast radius“, wenn es nicht um echte Explosionen geht, „smoke test“, wenn eigentlich „sanity check“ gemeint wäre, Dreieraufzählungen, bei denen der dritte Punkt nur eine Kombination der ersten beiden ist, die metaphorische Verwendung von „shape“ für Dinge, Social-Posts, die mit „Curious if anyone…“ enden, oder in Anekdoten „Oh. Oh.“ zu schreiben und das zweite Oh kursiv zu setzen, sieht man häufig
Einiges davon sind Begriffe, die Entwickler tatsächlich benutzen, aber über die tatsächliche Häufigkeit ließe sich streiten, und selbst in der Prosa aktueller Modelle bleiben solche Spuren sichtbar
Vor allem load bearing war im Alltagsgespräch im Ops-Bereich ein ziemlich gewöhnlicher Ausdruck. „smoke test“ habe ich im echten Leben dagegen noch nie verwendet gesehen
Auch Wikipedia hat solche Muster gut dokumentiert: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Plötzlich ist alles eine escape hatch. try/catch ist eine escape hatch, ein CLI-Flag ist eine escape hatch. Das ergibt keinen Sinn und landet am Ende in meiner Markdown-Datei mit „verbotenen Wörtern und Formulierungen“
Einheitlichkeit im LLM-Schreiben ist schlecht. LLMs zur Unterstützung beim Schreiben zu nutzen, ist gut, aber man fährt besser damit, kein einziges von einem LLM erzeugtes Wort unverändert in den endgültigen Text zu übernehmen.
Man kann es die Struktur und den Fluss kritisieren lassen sowie übermäßig wiederholte Wörter, Passivkonstruktionen und dumme Themensatz-Wahlen finden lassen. Solche Dinge verbessern den Text objektiv, ohne den Stil zu ruinieren.
Dagegen ist LLM-Einheitlichkeit im Webdesign gut. Die meisten Websites müssen sich nicht krampfhaft besonders machen. Gutes Design für praktische Websites ist Lesbarkeit, und darin sind LLMs besser als der durchschnittliche Entwickler. Immer wieder dieselbe Button-Anordnung und dieselbe Schriftgrößen-Systematik zu verwenden, ist in Ordnung. Wenn es in meinen Augen gut aussieht, ist es wahrscheinlich besser geworden, als wenn ich es allein gemacht hätte, und allein wäre es vermutlich schlechter geworden
Besonders schlimm ist GPT-5.x. Wenn man zum Beispiel ein Dashboard bauen lässt, streut es überall Unmengen an Zahlen und Textschnipseln ein, die meist nur dieselbe Aussage doppelt machen. Das ist natürlich weniger ein grundsätzliches Strukturproblem als etwas, das sich bald bereinigen dürfte, und wenn man zuerst die komplette Copy vorbereitet und dann die Site bauen lässt, kann ein gutes Ergebnis herauskommen
Fürs Schreiben fühlt sich der Einsatz von LLMs dagegen ziemlich seltsam an. Dumme Antragsformulare mögen eine Ausnahme sein. Ich habe gesehen, wie Mitwirkende LLMs für technische Dokumentation verwendet haben, und es war fast immer grenzwertiger Unsinn mit einer Ästhetik, die nur so aussah, als wäre sie korrekt. Wenn man LLMs stark für kreatives Schreiben nutzt, fühlt es sich an, als verschwände der eigentliche Zweck
Zur Überprüfung meiner Texte habe ich sie noch nicht genutzt, daher frage ich mich, wie gut das ist
Wenn ich daran denke, dass jemand einen wichtigen Text für oder über einen geliebten Menschen schreibt und zwischendurch vorgeschlagenen süßlichen Trash übernimmt, ist mir das stellvertretend peinlich. Das ist kompletter Unsinn und ein riesiges Signal, dass einem das Publikum nicht wichtig genug ist, um die eigenen Worte mitzubringen
Kontrastive Verneinung darf man auch nicht vergessen.
Das ist eine rhetorische Struktur, bei der im ersten Teil des Satzes ein bestimmter Gedanke verneint und im zweiten eine Alternative behauptet wird. Meist taucht sie in Formeln wie „nicht X, sondern Y“ oder „nicht nur X, sondern Y“ auf.
Auch auf Wikipedia gibt es gutes Material zu häufigen LLM-Mustern: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Mir gefällt besonders die Sichtweise, dass nicht diese Muster selbst das Problem sind. Es reicht nicht, nur die Muster zu korrigieren; das Problem ist, dass solche Muster auf hastig geschriebenen oder nachlässig verfassten Content hinweisen
Strukturen wie „No ___, no ____. Just _____“ oder auch die Verwendung von „honest“ bei der Beschreibung eines Ansatzes verraten sich ebenfalls.
Das ist so extrem, dass ich darüber nachdenke, einen Hook einzubauen, bei dem ein Unteragent mit „Bist du dir da wirklich sicher?“ eine Faktenprüfung einschiebt. Die falsche Unterscheidung „nicht X, sondern Y“ wird ähnlich verwendet. Etwa wenn selbsternannte Sovereign Citizens sagen, sie würden nicht fahren, sondern sich in einem Auto fortbewegen
Es taucht auch in positiver Form auf. So etwas wie „Smooth. Effortless. A perfect fit for your needs.“ Es kommt ständig vor, als müsse in informellen oder überzeugenden Texten der Punkt regelrecht eingehämmert werden.
Ich finde es etwas schade, dass so öffentlich immer weiter darüber gesprochen wird, woran man das erkennt. Es war schön, es ziemlich zuverlässig erkennen zu können, aber wahrscheinlich konnte das nie ewig so bleiben
Interessant ist, dass ich nicht das Gefühl habe, der Stil von LLMs habe sich in letzter Zeit stark verbessert.
Schon vor einer Weile haben sie ein „ordentliches“ Niveau erreicht, aber die neuesten Modelle haben keine Verbesserung gebracht, die sie gegenüber professionellen menschlichen Autoren bevorzugenswert machen würde. Ich frage mich, ob das auf dem Weg zur Superintelligenz auch in anderen Bereichen so sein wird
Inzwischen möchte ich in den meisten Texten wie Blogposts oder Slack-Nachrichten lieber rohere, menschlichere Texte sehen, selbst wenn sie ein paar Rechtschreib- oder Grammatikfehler haben.
LLMs sind großartig für Ideenfindung, Code und vielleicht auch fürs Überarbeiten von Texten, aber bitte nicht fürs komplette Schreiben des ganzen Textes. Bei dieser Art von Text möchte ich hören, was du zu sagen hast, nicht eine KI
Wenn du bei der Arbeit Claude nutzen kannst und es in Ordnung ist, ihm deine E-Mails zu zeigen, solltest du einmal sagen: „Lies alle meine gesendeten E-Mails und erstelle eine Skill, die E-Mail-Entwürfe in meiner Stimme schreibt.“
Selbst wenn man diese Skill am Ende nicht wirklich benutzt, ist es interessant, die erzeugte Skill-Datei zu lesen. Es fühlt sich seltsam an, Claude zu fragen: „Wer bin ich?“
Mit Slack-Nachrichten habe ich das noch nicht probiert; das zu lesen wäre mir ein bisschen unheimlich. Aber dasselbe Konzept dürfte gelten.
Bei uns in der Firma gibt es ein paar Leute, die Claude aktiv für Slack-Nachrichten verwenden, und das fällt leicht auf, weil sie bis zu einem bestimmten Tag in mehreren Nachrichten kaum verständliches Englisch schreiben und ab dem nächsten Tag in einer einzigen Nachricht perfekte, konsistente Prosa schicken
Es funktioniert tatsächlich ziemlich gut
Es ist zurzeit lustig, durch den LinkedIn-Feed zu scrollen.
Mein Lieblingssatz heute war: „Steuern sind nicht das Problem. Das Mindset ist das Problem.“
Beim Hinweis auf die Schriftart „JetBrains Mono“ dachte ich natürlich, dass gleich Kritik am übermäßigen Einsatz von Inter kommen würde. Trotzdem ist JetBrains Mono eine großartige Schriftart.
Wenn JetBrains Mono zur Aufgabe passt, sollte man sie verwenden; es gibt keinen Grund, sie nur deshalb zu meiden, weil AI sie häufig nutzt.
Ich frage mich, ob man sie rechtlich bedenkenlos auf beliebigen Websites verwenden darf.