Bei der Nutzung von ChatGPT häufen sich in Ihrem Gehirn kognitive Schulden (Cognitive Debt) an
(media.mit.edu)- Eine Studie analysiert experimentell, wie sich das Verfassen von Essays mit großen Sprachmodellen (LLMs) auf Gehirnaktivität und kognitive Belastung des Menschen auswirkt
- Nutzer von LLMs zeigten ein geringeres Gefühl der Autorschaft, hatten Schwierigkeiten, ihre eigenen Texte korrekt zu zitieren, und wiesen langfristig anhaltende Leistungseinbußen auf sprachlicher, verhaltensbezogener und neuronaler Ebene auf
- Die Teilnehmenden wurden in drei Gruppen eingeteilt — LLM, Suchmaschine und nur Gehirn (Brain-only) — und bearbeiteten dieselbe Aufgabe; einige wechselten später zwischen den Bedingungen, um Vergleiche zu ermöglichen
- Die EEG-Ergebnisse (Messung der Hirnströme) zeigten, dass die Brain-only-Gruppe das stärkste und breiteste neuronale Netzwerk aufwies, während LLM-Nutzer die schwächste Konnektivität zeigten
- Die Studie zeigt, dass KI-Abhängigkeit kognitive Kosten im Lernprozess verursachen kann, und wirft die Frage nach einer vertieften Prüfung der Auswirkungen auf die Bildung auf
Studienüberblick
- Die Studie untersucht die Auswirkungen des Einsatzes von KI-Assistenztools beim Essayschreiben auf Gehirnaktivität und Verhalten
- Die Teilnehmenden wurden in drei Gruppen aufgeteilt: LLM (ChatGPT usw.), Suchmaschine und Brain-only (ohne Werkzeuge)
- Jede Gruppe absolvierte unter denselben Bedingungen drei Sitzungen; in der vierten Sitzung wechselten einige die Bedingung
- LLM-Nutzer wechselten zu Brain-only (LLM-to-Brain)
- Brain-only-Nutzer wechselten zur LLM-Bedingung (Brain-to-LLM)
- Insgesamt nahmen 54 Personen an den Sitzungen 1 bis 3 teil, 18 schlossen auch Sitzung 4 ab
Versuchsaufbau
- Mittels EEG (Elektroenzephalographie) wurden kognitive Belastung und neuronale Konnektivität während des Essayschreibens gemessen
- Die verfassten Essays wurden zusätzlich per Natural Language Processing (NLP) analysiert und sowohl von menschlichen Lehrkräften als auch von KI-Bewertern bewertet
- Die Analyse von NER (Named Entity Recognition), n-gram-Mustern und Themenontologien zeigte eine hohe Ähnlichkeit innerhalb der jeweiligen Gruppen
Zentrale Ergebnisse
- Die EEG-Analyse zeigte deutliche Unterschiede zwischen den Gruppen
- Die Brain-only-Gruppe wies das stärkste und breiteste neuronale Netzwerk auf
- Die Suchmaschinen-Gruppe zeigte ein mittleres Maß an Beteiligung
- Die LLM-Gruppe zeigte die schwächste Konnektivität
- Es zeigte sich ein Trend, dass mit zunehmender Nutzung externer Werkzeuge die kognitive Aktivität abnimmt
- In Sitzung 4 zeigten Teilnehmende mit Wechsel von LLM zu Brain-only eine verringerte Konnektivität im Alpha- und Beta-Band, also einen Zustand kognitiver Unteraktivierung
- Teilnehmende mit Wechsel von Brain-only zu LLM zeigten dagegen eine verbesserte Erinnerungsleistung sowie Aktivierung im okzipital-parietalen und präfrontalen Bereich, ähnlich wie bei den Suchmaschinennutzern
Verhaltensbezogene und sprachliche Beobachtungen
- Das Gefühl der Autorschaft am Essay (Self-reported ownership) war in der LLM-Gruppe am geringsten und in der Brain-only-Gruppe am höchsten
- LLM-Nutzer hatten Schwierigkeiten, ihre eigenen Texte korrekt zu zitieren
- Nachverfolgungen über 4 Monate zeigten bei LLM-Nutzern anhaltende Minderleistung auf neuronaler, sprachlicher und verhaltensbezogener Ebene
Fazit und Implikationen
- LLMs bieten unmittelbare Bequemlichkeit, gehen jedoch mit langfristigen kognitiven Kosten (cognitive cost) einher
- Die Studie warnt vor negativen Auswirkungen von KI-Abhängigkeit auf Lernen und Denkfähigkeit
- Sie betont die Notwendigkeit eines ausgewogenen Einsatzes von KI und einer Neubewertung aus bildungs- und kognitionsbezogener Perspektive
- Das MIT Media Lab leitet aus den Ergebnissen die Notwendigkeit einer Neugestaltung von Lernmechanismen im KI-Zeitalter ab
14 Kommentare
Aus der Perspektive von jemandem, der Forschung beruflich betreibt, spreche ich dieses Problem ständig an. Dinge, die bisher menschliche Fähigkeiten ersetzt haben, ersetzten in der Regel bestimmte Funktionen; dass sie die Kognition selbst ersetzen, war selten. Kognitive Fähigkeiten entwickeln sich funktional gerade in dem Prozess, in dem sie Belastung erfahren — und genau dieser Gelegenheit beraubt man sich selbst. Man könnte sagen, dass man sich dadurch auf andere Aufgaben konzentrieren kann, aber wenn die kognitive Fähigkeit selbst gar nicht wachsen konnte, bekommt man womöglich nicht einmal die Gelegenheit, diese anderen Dinge zu tun. Natürlich könnte es sich um ein Phänomen der Übergangszeit handeln, aber wenn ich mir Junior-Leute ansehe, die ich in letzter Zeit interviewt habe, oder jüngere Leute aus meinem Umfeld an der Hochschule, habe ich das Gefühl, dass das Problem größer ist, als man denkt. Es stimmt zwar, dass es darauf ankommt, wie man ein Werkzeug nutzt, aber in einer Situation, in der die Menschen nicht einmal ein kleines Smartphone beherrschen und überall Smartphone-Zombies herumlaufen, die beim Gehen auf ihr Handy starren, erwarte ich nicht, dass die meisten es kontrolliert und verantwortungsvoll nutzen werden.
Ich finde diese Ansicht interessant. Siehe dazu: xkcd.com/1601 xkcd.com/1227
Auch ich warne davor, sich wegen dieses Problems auf LLMs zu verlassen. Bei den meisten Dingen, die Menschen erschaffen, ist die „Absicht“ das Wesentliche. Ob Filme, Essen oder Technologie … ich habe das Gefühl, dass die Umsetzung nur zu etwa 15 % wichtig ist.
Wenn LLMs Zeit sparen, dann sollte diese eingesparte Zeit dafür genutzt werden, die Qualität zu erhöhen.
Hacker-News-Kommentare
Wenn man AI zu oft nutzt, hat man das Gefühl, dass das Gefühl des Eintauchens in die Problemlösung nachlässt.
Bei der Implementierung eines komplexen graphischen Layout-Algorithmus auf Basis des Sugiyama-Frameworks habe ich dank AI die Konzepte schnell gelernt, aber als ich den Code direkt schreiben ließ, kam mein Verständnis eher ins Stocken.
Danach bin ich von der Copilot IDE zur Copilot 365 App gewechselt, habe mir die Prinzipien erklären lassen und selbst debuggt, wodurch ich mein Gefühl der Vertiefung wiedergewonnen habe.
Ich denke, es ist viel besser, AI nicht die Arbeit zu überlassen, sondern sie wie eine interaktive Enzyklopädie zu nutzen.
Jetzt kann ich mich stärker auf Code-Reviews oder Architekturdesign konzentrieren und verwende meine Zeit für die wesentlichen Aufgaben.
Selbst wenn man AI wie eine Enzyklopädie nutzt, wird die Fähigkeit zur Informationssuche abnehmen, aber der Trade-off aus gesparter Zeit und Energie ist wertvoll.
Erst war es „Fragen wir einfach das LLM“, dann „Während ich kurz pausiere, macht das LLM es für mich“, und schließlich „Das LLM folgt meinen Ideen und gibt mir neue Inspiration“.
Aber am Ende kommen doch Deadlines und die Realität der Arbeit.
Jedes Mal, wenn ein neues Medium auftauchte, gab es ähnliche Debatten.
Sokrates sagte, das Schreiben ruiniere das Gedächtnis, und im Zeitalter Gutenbergs machte man sich Sorgen, dass die Kontemplation verschwinden könnte.
Diese Studie hat wegen der kleinen Stichprobe und der kurzen Dauer eine geringe Aussagekraft, aber LLMs könnten im Unterschied zu Taschenrechnern oder Google den gesamten kognitiven Prozess ersetzen, was qualitativ etwas anderes ist.
Vielleicht verschwindet die kognitive Fähigkeit nicht, sondern verändert nur ihre Form. Was dabei herauskommt, werden wir wohl erst in etwa 20 Jahren wissen.
Menschen, die nicht lesen und schreiben konnten, hatten ein enormes Erinnerungsvermögen, und heute sind wir träge geworden, weil wir uns auf Maschinen verlassen.
Es gibt auch das Produktivitätsparadox (https://en.wikipedia.org/wiki/Productivity_paradox): Obwohl das Internet seit 30 Jahren verbreitet ist, ist die Produktivität nicht stark gestiegen.
LLMs schwächen alle drei Schritte. Wenn man sie stattdessen als personalisierten Lehrer nutzt und sich Aufgaben geben lässt, könnten sie das Gehirn auch wachsen lassen.
Aber Unternehmen werden nicht in diese Richtung gehen, deshalb müssen wir für eine bessere Richtung kämpfen.
Bei Taschenrechnern war es ähnlich: Sie haben die Fähigkeit zu komplexen Berechnungen geschwächt.
Wenn die Veränderung positiv ist, braucht es neue Methoden zur Bewertung von Lernen, und wenn sie negativ ist, braucht es Richtlinien zum Blockieren von LLMs.
In jedem Fall ist eine Neugestaltung des Bildungssystems unvermeidlich.
Wenn Juniors nicht mehr durch einfache Aufgaben wachsen können, verschwinden auch die Seniors.
Aus Sicht von Studierenden ist AI als Lernhilfe eher schädlich als nützlich.
Der Prozess von Versuch und Irrtum sowie Reflexion verschwindet, und man delegiert sogar das Denken an ein automatisiertes System.
Früher reichte es, Instagram zu blockieren, heute leben wir in einer Zeit, in der man das Denken selbst blockieren muss.
Im Podcast Change, Technically der Psychologin Cat Hicks und der Neurowissenschaftlerin Ashley Juavinett werden die Probleme dieser Studie gut behandelt.
ChatGPT mag Menschen dümmer machen können, aber mit einer solchen Studie lässt sich das nicht beweisen.
Ich habe eher das Gefühl, dass AI meine ADHS-Symptome lindert.
Ich ordne Ideen wie in einem interaktiven Notizbuch und der Prozess, lange Texte in LaTeX zu schreiben, macht viel mehr Spaß.
Es fühlt sich an, als würde ich wie jemand ohne ADHS funktionieren.
Wenn ich selbst programmiere, komme ich in einen Flow, aber während ich auf die Antwort der AI warte, werde ich zerstreut.
Mit ChatGPT führe ich Design-Gespräche, mit Copilot unterstütze ich die Code-Arbeit.
Meine Lerngeschwindigkeit und mein Verständnis sind dadurch eher gestiegen.
Ich habe mich zwar nie auf ADHS testen lassen, aber Probleme mit der Konzentration spüre ich eindeutig.
Ein Freund erzählte, dass ein Kollege in seinen Zwanzigern die Berechnung beim Mittagessen ChatGPT überlassen hat.
Es war überraschend zu sehen, wie die junge Generation sogar bei einfacher Arithmetik auf AI angewiesen ist.
Sogar Google Sheets nennen sie manchmal Excel.
Menschen sind von Natur aus schlecht in Arithmetik, also muss man das nicht unbedingt von Hand machen.
Einfache Rechnungen sind keine Problemlösung.
Jetzt übernimmt AI sogar Lesen und Schreiben, also können Menschen sich auf Denken auf höherer Ebene konzentrieren.
So wie die Druiden die Verschriftlichung kritisierten, gab es den Verlust des Gedächtnisses schon immer.
Trotzdem hat sich die Schrift verbreitet, und wir wissen nur nicht, ob wir dadurch klüger oder dümmer geworden sind.
Wenn man sie allerdings als personalisierten Lehrer nutzt, könnten sie das Gehirn auch wachsen lassen.
Letztlich entscheiden wir über die Richtung der AI.
Man muss sich weder Telefonnummern noch Wege merken.
Wenn AI aber Zeit spart, kann man diese Zeit stattdessen in das Lesen von Primärquellen investieren.
Letztlich war auch Religion die erste Aufmerksamkeitsökonomie.
Ironischerweise löst das LLM genau das Problem, vor dem er Angst hatte.
Die Abhängigkeit von GPS und die Abhängigkeit von AI sind ein ähnliches Problem.
Manche können sich Wege nicht merken, andere folgen ihnen blind.
Das hilft dabei, die Struktur einer Stadt zu verstehen.
Ähnlich halte ich bei LLMs die Konzentration, indem ich im Wettbewerb direkt selbst das Problem löse, während die AI ihre Antwort erstellt.
Es beunruhigt mich, dass die junge Generation ohne GPS das Auto kaum noch in Bewegung setzt.
Bei LLMs ist es genauso: Wenn man sich zu sehr darauf verlässt, lagert man das Denken selbst aus.
Manche lernen Orientierungspunkte schnell, andere brauchen deutlich mehr Zeit.
In dieser Studie mussten die Teilnehmenden in 20 Minuten einen Aufsatz schreiben.
In einer solchen Umgebung zielt man nur auf kurzfristige Effizienz, daher hat das wenig mit realen kognitiven Auswirkungen zu tun.
Man müsste untersuchen, welchen Einfluss LLMs auf wirklich bedeutungsvolle Aufgaben haben.
Im Grunde lautet das Fazit nur: „Wer einem Roboter beim Tennisspielen zusieht, setzt weniger Muskeln ein als jemand, der selbst spielt.“
Herr Kim. Ich möchte mir erlauben, Ihnen einen Rat zu geben. Nichts anderes als dies: Nutzen Sie AI GTP? nicht zu viel. Wenn es Bequemlichkeit gibt, steigt auch das Risiko. Um ein Rind zu schlachten, gibt es eine entsprechende Klinge, aber braucht man zum Schlachten eines Huhns überhaupt ein Messer? Das Einfache kann die richtige Antwort sein.
Es gibt GitHub, Googeln und einfache Methoden. Das braucht weder Sterne noch Zeit, und später gibt es auch noch den Weg des bloßen Codens.
Nehmen wir an, Herr Kim wäre auf dem Schlachtfeld ein General. Ist es nicht selbstverständlich, dass man den Krieg gewinnen muss? Eine Strategie passend zur Situation? Nur mit Bodentruppen unterwerfen? Nein. Meine Meinung ist, dass Googeln schneller sein kann, auch wenn es natürlich von Person zu Person verschieden ist, und GPT gut sein kann. Ich wollte nur meine Ansicht äußern, dass AI vielleicht eher ein Messer zum Schlachten eines Rinds ist.
Das ist ungefähr so, als würde man einen Hammer ansehen und sagen: „Er macht Häuser instabil.“
Das Problem ist nicht das Werkzeug, sondern wie man es benutzt.
Zum Beispiel:
Wenn man einen Taschenrechner benutzt, kann Kopfrechnen seltener werden,
dafür kann man komplexere Mathematik machen.
Wenn man GPS benutzt, kann die Fähigkeit nachlassen, sich Wege zu merken,
aber dafür kann man Strategien für größere Räume entwickeln.
Bei ChatGPT ist es genauso.
Und noch ein interessanter Punkt.
In dem Moment, in dem man so einen Text liest und gedankenlos zustimmt: „Stimmt, wer KI nutzt, wird dumm“,
entsteht genau die kognitive Schuld, von der dort die Rede ist, bereits in der Person selbst.
Werkzeuge sind immer neutral.
Ob man Denken in Schulden oder in Vermögen verwandelt, entscheidet die Haltung des Nutzers.
Dem ersten Teil kann ich zustimmen, aber ich finde, das Beispiel im zweiten Teil ist nicht wirklich passend.
Trainingsgerät = nicht LLM, sondern Trainingshilfe = LLM. Wenn man also beim Training Hilfsmittel nutzt und dadurch die Belastung für den Körper verringert, kann man zwar das Gewicht steigern, aber der Trainingseffekt, also Muskelaufbau oder eine bessere Durchblutung des eigenen Körpers, wird dadurch abgeschwächt.
Es ist widersprüchlich, ein ungeeignetes Beispiel aufzuschreiben und dann zu sagen: "Vergleiche und Metaphern schreibt man, damit sie leicht verständlich sind." Wenn ich Ihren Kommentar so sehe, scheint es keinen Sinn mehr zu haben, weiter zu kommentieren.
Ah ja. Wenn Sie es so verstehen, dann stimmt das.