Die Auswirkungen von AI-Unterstützung auf die Entwicklung von Programmierfähigkeiten
(anthropic.com)- Eine von Anthropic durchgeführte Studie hat experimentell untersucht, welche Auswirkungen die Nutzung von AI-Coding-Assistenten auf das Lernen und die Kompetenzentwicklung von Entwicklerinnen und Entwicklern hat
- Die Ergebnisse eines randomisierten kontrollierten Experiments zeigen, dass die Gruppe mit AI im Durchschnitt 17 % niedrigere Werte beim konzeptuellen Verständnis und bei der Debugging-Fähigkeit erzielte, während die Geschwindigkeitssteigerung statistisch nicht signifikant war
- Teilnehmende, die AI nicht nur zur Codegenerierung, sondern auch für konzeptuelles Verständnis und Erklärungsanfragen nutzten, erzielten jedoch hohe Punktzahlen
- Die Studie zeigt, dass die Art der AI-Abhängigkeit die Lernergebnisse bestimmt und dass einfache Automatisierung das Wachstum technischer Fähigkeiten behindern kann
- Unternehmen und Entwicklerinnen bzw. Entwickler benötigen eine AI-Einführungsstrategie, die Produktivitätssteigerung und langfristigen Kompetenzaufbau in Balance hält
Überblick über die Studie
- Die Studie ist ein randomisiertes kontrolliertes Experiment zur Analyse der Auswirkungen von AI-Assistenten auf das Erlernen von Programmierung und technische Kompetenz
- Die Teilnehmenden waren 52 Junior-Entwicklerinnen und -Entwickler mit mindestens einem Jahr Python-Erfahrung, die mit der Trio-Bibliothek nicht vertraut waren
- Das Experiment bestand aus drei Phasen: Aufwärmphase, Haupt-Coding-Aufgabe (Implementierung von zwei Trio-basierten Funktionen) und Quiz
- Die Teilnehmenden arbeiteten in einer Online-Coding-Umgebung mit integriertem AI-Assistenten, der Zugriff auf den Code und die Generierung von Lösungscode unterstützte
- Die Bewertung umfasste vier Bereiche: Debugging, Code-Lesen, Code-Schreiben und konzeptuelles Verständnis, mit besonderem Fokus auf Debugging und konzeptuelles Verständnis
Zentrale Ergebnisse
- Die AI-Gruppe erreichte im Quiz durchschnittlich 50 %, die Nicht-AI-Gruppe 67 %, was ungefähr einem Unterschied von zwei Notenstufen entsprach (Cohen’s d=0.738, p=0.01)
- Die AI-Gruppe war im Durchschnitt 2 Minuten schneller, der Unterschied war jedoch statistisch nicht signifikant
- Der größte Punktunterschied zeigte sich bei den Debugging-Aufgaben, was darauf hindeutet, dass die Nutzung von AI mit einer geringeren Fähigkeit zum Verständnis von Fehlern zusammenhängen könnte
- Der Lerneffekt unterschied sich je nach Art der AI-Nutzung
- Reine Codegenerierung oder das Delegieren von Debugging an AI führten zu niedrigeren Punktzahlen
- Wer zusätzlich Konzeptfragen stellte oder um Code-Erklärungen bat, erzielte höhere Punktzahlen
Analyse nach Typen der AI-Interaktion
- Muster mit niedrigen Punktzahlen (durchschnittlich unter 40 %)
- AI-Delegationstyp (n=4): Übergab den gesamten Code an AI, war am schnellsten fertig, zeigte aber mangelndes konzeptuelles Verständnis
- Typ mit schrittweise wachsender Abhängigkeit (n=4): Versuchte es anfangs selbst, verließ sich dann aber zunehmend vollständig auf AI und zeigte beim Konzept der zweiten Aufgabe Unsicherheiten
- Iterativer Debugging-Typ (n=4): Überließ AI die Fehlerbehebung, war langsam und erzielte niedrige Punktzahlen
- Muster mit hohen Punktzahlen (durchschnittlich über 65 %)
- Typ „Generieren und dann verstehen“ (n=2): Lies zunächst Code generieren und bat AI anschließend um zusätzliche Erklärungen, mit hohem Verständnis
- Gemischter Code-Erklärungs-Typ (n=3): Fragte sowohl nach Code als auch nach Erklärungen; langsamer, aber mit besserem Verständnis
- Konzeptorientierter Erkundungstyp (n=7): Arbeitete vor allem mit Konzeptfragen, machte zwar viele Fehler, schloss die Aufgaben aber durch eigenständige Lösung schnell ab
Interpretation und Implikationen
- Die Einführung von AI erzeugt ein Spannungsfeld zwischen Produktivität und Lernen
- In Umgebungen, die schnelle Ergebnisse priorisieren, besteht die Möglichkeit, dass das Wachstum technischer Fähigkeiten von Junior-Entwicklerinnen und -Entwicklern gebremst wird
- Die Gestaltung der AI-Nutzung ist die zentrale Variable; statt bloßer Automatisierung sind Interaktionen nötig, die Lernen fördern
- Unternehmen sollten den Einsatz von AI-Tools und das Lerndesign bewusst steuern und sicherstellen, dass
Ingenieurinnen und Ingenieure die Fähigkeit behalten, von AI generierten Code zu verifizieren
Fazit und künftige Aufgaben
- Die Studie legt nahe, dass AI bei bereits beherrschten Fähigkeiten die Produktivität steigern kann, beim Erlernen neuer Fähigkeiten jedoch zum Hemmfaktor werden kann
- Da die Stichprobe klein war und nur kurzfristig bewertet wurde, ist der Zusammenhang mit langfristigem Kompetenzwachstum noch nicht belegt
- Als Themen für künftige Forschung werden genannt:
- Auswirkungen in Arbeitsbereichen außerhalb des Codings
- Ob langfristige Lerneffekte bestehen bleiben
- Unterschiede zwischen menschlichem Mentoring und AI-Unterstützung
- Auch in AI-unterstützten Umgebungen sind kognitive Anstrengung und Versuch-und-Irrtum für den Kompetenzaufbau unverzichtbar, und
AI sollte so gestaltet werden, dass sie Effizienz und Lernen gleichzeitig unterstützt
1 Kommentare
Hacker-News-Kommentare
Beeindruckend, dass Anthropic eine solche Studie selbst entworfen und veröffentlicht hat
Ich glaube, so etwas sieht man bei anderen Forschungslaboren nur selten
Interessant ist, dass die KI-unterstützte Gruppe zwar etwas schneller war, der Unterschied aber statistisch nicht signifikant war
Letztlich scheint KI die Produktivität zu steigern, allerdings offenbar auf Kosten der Lernfähigkeit
Bis eine unabhängige dritte Partei das reproduziert hat, sollte man gegenüber den enthaltenen Behauptungen skeptisch bleiben
Ich halte das kaum für etwas anderes als die „Gesundheitsforschung“ von Tabakfirmen
Ich sorge mich, dass Juniors künftig zu KI-abhängigen Entwicklern werden und die Fähigkeit verlieren, Probleme selbst zu lösen
Meine Vermutung ist, dass KI-Nutzer ihre Programmierfähigkeiten weniger verbessert haben, dafür aber möglicherweise ihre Fähigkeit zur Anforderungsspezifikation
Die Rolle von Junior-Entwicklern verändert sich gerade in Richtung eines stärkeren Fokus auf klar definierte Anforderungen
Wahrscheinlich hat diese Strategie gute Erfolgschancen
Die meisten Menschen wählen den Weg des geringsten Widerstands, aber einige lernen mit KI sogar schneller
Die Schlussfolgerung gilt also nicht gleichermaßen für alle Nutzer
Ich mache mir Sorgen, was passiert, wenn solche Tools plötzlich nicht mehr verfügbar sind
Wenn das Internet ausfällt oder die Credits aufgebraucht sind, können Geschäft und Lebensunterhalt lahmgelegt werden
Am Ende werden Entwickler zu bloßen Gatekeepern degradiert und können bei Systemausfällen gar nichts mehr tun
Ich habe an vielen Orten weltweit gearbeitet, aber durch Verbindungsprobleme insgesamt nicht einmal einen ganzen Tag verloren
Wenn Anthropic ausfällt, nehme ich Gemini, und wenn die Credits leer sind, eben kostenlose Credits
Inzwischen sind auch lokale Modelle gut genug nutzbar
Letztlich hängen wir heute alle von Online-Diensten ab
Wenn man dieses Risiko nicht mag, muss man für ineffiziente, aber stabile Alternativen bezahlen
Wenn das doch passiert, ist es besser, Notfallverfahren zu befolgen, als zu alten Methoden zurückzukehren
Früher habe ich selbst gebaut und per ISDN hochgeladen, heute übernimmt CI/CD diese Rolle
Wenn etwas kaputtgeht, repariert man es eben; manuelle Deployments verursachen eher noch größere Probleme
Besonders deutlich zeigt sich das beim Lernen neuer Bibliotheken
Ich konnte sogar auf Langstreckenflügen ohne Internet produktiv arbeiten
Menschen passen sich oft gerade dann besonders gut an, wenn die Umgebung schlechter wird
Senior-Entwickler haben bei grundlegendem Verständnis weiterhin einen Vorteil
So wie frühere Generationen Assembler und Hardware verstanden haben, lernt die heutige Generation den Umgang mit KI
Entscheidend ist letztlich die Fähigkeit, situationsgerecht zu lernen
Ich arbeite seit über 20 Jahren und habe den Großteil meines Wissens schon wieder vergessen, aber das liegt nicht an KI
Schlechter Code und strukturelle Probleme gab es schon vor LLMs
Der Studie zufolge zeigt sich der stärkste Rückgang bei der Problemlösungsfähigkeit
Heutige Juniors verlieren die Gelegenheit, selbst zu debuggen
Ich habe im Team oft als „letzter Debugger“ gearbeitet und sogar Compiler-Bugs aufgespürt
Heute nutze ich Claude, um repetitive Aufgaben zu delegieren, und grabe mich nur noch dort tief ein, wo sich strategisches Lernen lohnt
Dadurch ist mein Lernen effizienter geworden
Wer es nicht lernt, verpasst vielleicht nicht viel, aber schaden tut es sicher nicht
Letztlich sind menschliche Entwickler mit logischem Denken LLMs überlegen
Man muss ihn nicht unbedingt schreiben, aber man sollte ihn verstehen können
Früher halfen die „weniger intelligenten Modelle (GPT‑4 usw.)“ nur bis etwa 90 %, sodass man den Rest selbst lösen musste
Dabei entstand eine tiefe Lernerfahrung
Die heutigen Modelle sind so ausgereift, dass die Gelegenheiten zum eigenen Denken eher weniger werden
Vielleicht ist eine Zusammenarbeit mit KI im Editor besser als über die CLI
Am stärksten leiden am Ende die Entwickler, die noch lernen
Es entsteht eine Kultur, in der sich alle Berufsgruppen auf LLMs verlassen
Die Gestaltung der Gesamtarchitektur bleibt nach wie vor Aufgabe des Menschen
Ich nutze LLMs als Lernwerkzeug und bitte in Gesprächen um Beispiele und Diagramme, um Entwürfe besser zu visualisieren
Zum Beispiel ist grok 4.1 fast zehnmal billiger und etwas besser
Wenn Modelle zu gut funktionieren, kann menschliches Denken träger werden
Im Wettbewerb gewinnen aber am Ende diejenigen, die effiziente Techniken beherrschen
Allerdings zeigt KI oft nur überangepasste Ergebnisse, was riskant ist
Für dieses Problem gibt es noch zu wenige Lösungen
Letztlich müssen Menschen selbst prüfen und Lernmuster entwickeln
Für Hobbyprojekte ist es großartig, in großen Codebasen stößt es jedoch an Grenzen
Das Wesen des Programmierers ist kontinuierliches Lernen
Ich arbeite seit 25 Jahren und lerne immer noch jeden Tag etwas Neues
Wenn man Berater einsetzt, bleibt nur der Code, während das Wissen außerhalb des Unternehmens bleibt
Am Ende ist Programmierung selbst Lernen
Oft geht es darum, bestehende Lösungen anzupassen, um ein Problem zu lösen
Manchmal erhöht zu viel Lernen sogar unnötig die Komplexität
Laut der Studie führt der Einsatz von KI zu schlechterem Verständnis und schwächerer Debugging-Fähigkeit, während der Effizienzgewinn gering ist
Siehe Originallink
Die KI-Gruppe erreichte im Durchschnitt 50 Punkte, die Gruppe mit manuellem Programmieren 67
Eine interessante Studie
Sie bringt einen dazu, sich zu fragen, ob wir Bequemlichkeit oft mit Können verwechseln
Gut, dass solche Studien durchgeführt werden
Wie beim Sprachenlernen gilt: Wenn man etwas nicht selbst anwendet, bleibt die Fähigkeit nicht erhalten
Wenn man die Nutzung stoppt, ist ein allmählicher Abbau ganz natürlich
Ich schätze die Transparenz und den wissenschaftlichen Ansatz von Anthropic sehr
Auch ich delegiere die eigentliche Entwicklung und konzentriere mich auf das Erlernen von Konzepten, wodurch ich schneller Fortschritte mache
Der Titel des Beitrags ist irreführend
Die Studie behandelt nicht Produktivitätssteigerungen bei Anfängern, sondern die Auswirkungen auf den Lernprozess
Die Gesellschaft funktioniert eher über funktionale Kompetenz als über vollständiges Verständnis
Ich habe selbst eine Regex-Bibliothek gepflegt, die nur durch Hunderte von Testfällen validiert war
Auch ohne das Innenleben vollständig zu verstehen, konnte ich durch testbasierte Korrektheit Vertrauen schaffen
KI erhöht bei Anfängern die Produktivität, kann aber den Kompetenzerwerb behindern
Wer vollständig delegiert, gewinnt etwas Effizienz, lernt aber weniger
Wer dagegen ein Muster kognitiver Beteiligung beibehält, kann den Lerneffekt bewahren
KI-Produktivität ist also keine Abkürzung zu Können
Auch nach 25 Jahren Berufserfahrung lerne ich noch jeden Tag