Möglichkeit eines „Brain-Rot“-Phänomens bei LLMs

• Nach der LLM Brain-Rot-Hypothese führt anhaltende Exposition gegenüber Webtexten geringer Qualität dazu, dass LLMs einen Rückgang der kognitiven Fähigkeiten erleiden.
• In den Experimenten wurde bei nachtrainierten LLMs mit minderwertigen Daten ein Rückgang von Schlussfolgern, Langtextverständnis und Sicherheit sowie ein Anstieg der „dunklen Merkmale“ beobachtet.
• Mit steigendem Anteil an Junk-Daten verschärft sich der Abbau kognitiver Fähigkeiten.
• In der Fehleranalyse zeigte sich das Hauptmuster als Denkprozess-Sprüngen/Auslassen (thought-skipping): das Überspringen von Argumentationsketten beim Schlussfolgern.
• Eine teilweise Erholung ist durch hochwertige Daten und Tuning möglich, vollständige Wiederherstellung ist jedoch schwierig.

---

Studienübersicht

• In dieser Studie wurde die LLM Brain Rot Hypothesis (Brain-Rot-Hypothese) vorgestellt und validiert.
• Es wurde experimentell untersucht, ob LLMs (Large Language Models) bei wiederholter Exposition gegenüber minderwertigen (Junk-)Webtexten langfristig kognitive Fähigkeiten verlieren.
• Um Ursache und Effekt zu trennen, wurden auf Basis des Original-Datensatzes von Twitter/X zwei Datensätze erstellt: ein verschmutzter (Junk-)Datensatz und ein Kontrollsatz, jeweils nach zwei Verfahren (M1: Beteiligungsbasiert, M2: Semantikqualitätsbasiert) verglichen.
• Beide Verfahren wurden so abgeglichen, dass Tokenanzahl und Trainingsbedingungen übereinstimmten, sodass die Veränderung der Datenqualität die einzige unabhängige Variable war.

Hauptergebnisse

• Bei 4 LLMs wurde nach zusätzlichem Pre-Training mit minderwertigen Daten ein klarer Rückgang kognitiver Fähigkeiten in den Metriken wie Schlussfolgern, Verstehen langer Kontexte und Sicherheit beobachtet.
  • Gleichzeitig zeigte sich auch ein Anstieg der „dunklen Merkmale“ (z. B. Psychopathie, Narzissmus).
• Im M1-Setup sank die ARC-Challenge-Metrik auf Basis von Chain of Thoughts von 74.9 → 57.2 und RULER-CWE von 84.4 → 52.3; bei höherem Junk-Datenanteil war der Leistungsabfall ausgeprägter.
• Mit schrittweise erhöhtem Anteil von Junk-Daten zeigte sich ein proportional stärker werdender Rückgang kognitiver Fähigkeiten, ein klarer „Dosis-Wirkungs“-Effekt.

Fehlerursachenanalyse

• Das Hauptmuster der Degeneration zeigte sich als ausgeprägte Tendenz zum Denkprozess-Aussparen (thought-skipping).
  • LLMs überspringen den Schlussfolgerungsprozess zunehmend immer häufiger, wodurch Fehler zunehmen.
• Teilweise Erholung: Durch Instruction Tuning und erneutes Training auf hochwertigen Daten lässt sich der kognitive Abbau weitgehend beheben, aber nicht vollständig auf das Baseline-Niveau zurückführen; dies deutet darauf hin, dass die Ursache nicht auf Forminkonsistenzen, sondern auf eine Repräsentationsänderung zurückzuführen ist.
• Popularität statt Stil: Tweet-Popularität (ein nicht-semantikbasiertes Signal) ist in M1 ein deutlich stärkeres Indiz für den Einfluss von Brain Rot.

Schlussfolgerung und Implikationen

• Die Ergebnisse belegen aus mehreren Perspektiven, dass Datenqualität der Hauptauslöser für Leistungsabfälle von LLMs ist.
• Im kontinuierlichen Re-Training von LLMs wird Datenkuratierung als Problem der „Sicherheit im Training“ neu definiert.
• Es wird empfohlen, bei produktiv eingesetzten LLMs regelmäßige „kognitive Gesundheitschecks“ durchzuführen.

[GN⁺]

Hacker News Kommentare

• Der Begriff „Brain Rot“ klingt bei der Übertragung auf Datenkuratierung bei LLMs ziemlich pseudo-intellektuell; es wirkt eher so, als sei der Autor selbst in ein LLM-ähnliches Denken geraten.

  • Das wirkt wie ein echter LLM-Text, besonders weil sogar zweimal ein em dash (—) verwendet wird, um Aussagen aufzulisten. Solch einen Stil erkennen HN-Leser sofort.
  • Tatsächlich haben HR-Personen bereits vor der Ära von LLMs so gesprochen: Ob die OKRs aufgeräumt sind, ob man über 360-Grad-Reviews besser wird, tägliche Zielchecks macht und 1:1-Gespräche mit dem Manager führt – genau so klingt dieses HR-typische Vokabular.
  • Solange die Aussage klar rüberkommt, sehe ich kein Problem darin, mit einem LLM zu schreiben. Unabhängig davon, was jemand sagt, wird ein LLM künftig zur Pflicht im Schreiben gehören.
  • Mir kommt vor, je mehr man LLMs nutzt, desto mehr bekommt man ein „brain rot“-Gefühl: Beim langen Arbeiten mit derselben Eingabemethode hängt man am Autocomplete und hat beim freien Formulieren manchmal das Gefühl, Wörter zu vergessen. Entscheidend bleibt, dem Modell gute Daten zu füttern. Viele Agent-Startups versuchen genau das und speisen große Modelle mit domänenspezifischem Wissen und Workflows.
  • Schade, dass fast nur das „brain rot“ von LLMs betrachtet wird und nicht das menschliche. Wären Menschen mehr auf ihre kognitive Hygiene bedacht gewesen, wäre Social Media heute deutlich gesünder.

• Wenn du neugierig auf LLM-Trainingsdaten bist, empfiehlt sich, einfach zufällige Common-Crawl-Daten herunterzuladen und selbst reinzuschauen (etwa 100 MB): https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-38/segments/1757047532641.17/wet/CC-MAIN-20250905112101-20250905142101-00000.warc.wet.gz
  Beim Durchsehen war auch eine Menge problematischer Daten dabei, die man schwerer formulieren kann. Natürlich sollte das in der Praxis durch Vorverarbeitung herausgefiltert werden. Aber einzelne Base-/Text-Modelle wie Llama haben schon schockierende Ergebnisse produziert, daher bleibt die Frage, wie durchdringend diese Bereinigung tatsächlich ist.

  • Karpathy sagte kürzlich ebenfalls, dass ein Common-Crawl-Sample eher wie unnützer Ballast wirkt; hochqualitative Infos wie WSJ-Artikel sind dort extrem selten. Dass man damit überhaupt etwas lernen kann, wirkt eher wie ein Wunder.
  • Ich denke, große KI-Anbieter entfernen gefährliche Daten am Ende mit modernen Klassifikatoren und Filtern. Wenn das nicht perfekt klappt, steuern sie Reaktionen über Methoden wie RLHF. Dadurch werden Datensatzfilterung und der Bezug kostenpflichtiger Hochqualitätsdaten zu einem Unterschied zu Open Source und zu einer relativ niedrigen Eintrittshürde.

• Dass der Output schlechter wird, wenn man Müll in LLMs steckt, ist keine neue Beobachtung, also nicht wirklich überrascht.

  • Es gab allerdings auch Regressions-/Recovery-Tests. Wissenschaftlich ist es wichtig, Hypothesen direkt zu prüfen; Forscher über die Schwere eines Themas zu informieren gelingt am wirkungsvollsten durch eine Paper-Publikation.
  • Dass irgendein Datenset ohnehin ginge, ist ein Gerücht – genau deshalb braucht man Forschung, die das tatsächlich überprüft.

• Das Paper nennt zwei große Punkte:

  • „Thought-skipping“ ist ein Hauptproblem: Der Zwischenraum der Schlussfolgerung wird oft übersprungen.
  • Die „Popularity“-Metrik korreliert stärker mit brain rot als die Länge – populäre Tweets sind also ein deutlicherer Indikator für den brain-rot-Effekt. Das ist im Grunde nachvollziehbar: Populärkultur neigt dazu, Belege auszulassen und direkt zu Ergebnissen zu springen. Wenn man auf Daten wie einen Twitter-Feed trainiert, verändert sich das Modell genau in diese Richtung. Ein Datensatz ohne soziale Medien als Kontrollgruppe wäre mindestens nötig.

• Beim Lesen hatte ich den Eindruck, es sei vielen bereits klar, dass die Trainingsdaten chaotisch sind, aber kaum jemand nimmt es ernst. Müll einzuspeisen und dann so zu tun, als wäre man über die daraus resultierende Verschlechterung erstaunt, wirkt eher wie Hohn – ist das nicht eigentlich ohnehin bekannt?

• Die Metapher von „kognitiver Hygiene“ passt nicht. LLMs haben keine Kognition, daher ist das auch kein passendes Bild; im Kern geht es darum, dass Datenlieferanten billige, teils missbräuchliche und urheberrechtlich problematische Daten einspeisen.

  • Auch die Formulierung „kognitive Einbußen“ ist irreführend, denn hier findet keine echte Kognition statt, sondern maximal ein realitätsnahes Simulieren.

• Brain-rot-Texte können schädlich sein, aber brain-rot-Videos sind oft unheimlich und inhaltlich dicht und können daher sogar ein Hebel für Leistungsverbesserung sein (siehe Brain-Rot-Analysevideo aus Deutschland). Auch Kunst wie von Švankmajer gehört für mich im Museum dazu und ist ein „proto-brainrot“. Ich sehe hier auch begriffliche Unschärfe: Es geht eher um den Unterschied zwischen minderwertigen und inhaltsreichen Inhalten.

  • Laut Forschung sind Brain-rot-Videos für Kinder nicht positiv, siehe etwa der Artikel zu Cocomelon. Sorgfältig gemachte Inhalte können im Gegenteil eher weit außerhalb des Brain-Rot-Spektrums liegen.
  • In diesem Zusammenhang ist das größere Risiko, dass KI als Werkzeug genutzt wird, um Menschen zu beeinflussen (mit oder ohne Absicht; auch Kunst ist eine Form von Beeinflussung). Ich mache mir eher Sorgen um LLM-erzeugtes brain rot und um Modelle, die auf menschliche Gefallen ausgerichtet werden. Dass die Systeme immer menschlicher wirken, also anthropomorphisiert werden, ist beunruhigend.

• Es wirkt wie eine Neuauflage von „garbage in, garbage out“ und eher wie ein Clickbait-Titel.

  • Für die meisten Fälle gilt GIGO (garbage in, garbage out) im LLM-Training weiterhin direkt. Wichtig an diesem Paper ist:
    • Dass fehlende Nachbearbeitung (Post-Training) die schlechte Qualität eines vorgetrainierten Modells (Pretraining) nicht vollständig ausgleichen kann; selbst wenn die Syntax auf den ersten Blick korrekt wirkt, können implizit schlechte Gewohnheiten wie Thought-Skipping bereits verankert werden.
    • Dass „schlechte Daten“ schwer zu definieren sind; eine auf Engagement basierende Heuristik passte bei der LLM-Inhaltsklassifikation teils sogar besser.
  • „Attention is all you need“
  • Es ist fast komisch, sich vorzustellen, wie ChatGPT von brain-rot-Memen oder einem Internet-Phänomen wie „Skibidi Toilet“ vereinnahmt wird.
  • Ob die jetzige LLM-Trainingspraxis gut oder schlecht ist, sie bleibt eine Mischung aus riesigen Mengen an Müll und hochwertiger Datenqualität. Auch wenn es offensichtlich ist, finde ich die Wiederaufbereitung des Themas aktuell passend.
  • Und damit kommt noch ein zusätzlicher Prozessschritt dazu.

• Ich halte es für unangemessen, Metaphern wie „brain rot“, „thought-skipping“, „primary lesion“, „cognitive declines“ in einem Informatikpaper zu verwenden. Neben der Ungenauigkeit besteht zudem die Gefahr, menschliche Eigenschaften auf Computer zu projizieren. Wenn sich die Forschungscommunity in diese Begriffe verstrickt, wird es später schwieriger, sie wieder loszuwerden.

• Dieses Paper lässt mich fragen, welche langfristigen Auswirkungen die Medienumgebung auf Kinder der Generation Alpha hat.

  • Ich frage mich, warum wir nur an Kinder denken sollten.