- Eine von Anthropic durchgeführte Studie hat experimentell untersucht, welche Auswirkungen die Nutzung von AI-Coding-Assistenten auf das Lernen und die Kompetenzentwicklung von Entwicklerinnen und Entwicklern hat
- Die Ergebnisse eines randomisierten kontrollierten Experiments zeigen, dass die Gruppe mit AI im Durchschnitt 17 % niedrigere Werte beim konzeptuellen Verständnis und bei der Debugging-Fähigkeit erzielte, während die Geschwindigkeitssteigerung statistisch nicht signifikant war
- Teilnehmende, die AI nicht nur zur Codegenerierung, sondern auch für konzeptuelles Verständnis und Erklärungsanfragen nutzten, erzielten jedoch hohe Punktzahlen
- Die Studie zeigt, dass die Art der AI-Abhängigkeit die Lernergebnisse bestimmt und dass einfache Automatisierung das Wachstum technischer Fähigkeiten behindern kann
- Unternehmen und Entwicklerinnen bzw. Entwickler benötigen eine AI-Einführungsstrategie, die Produktivitätssteigerung und langfristigen Kompetenzaufbau in Balance hält
Überblick über die Studie
- Die Studie ist ein randomisiertes kontrolliertes Experiment zur Analyse der Auswirkungen von AI-Assistenten auf das Erlernen von Programmierung und technische Kompetenz
- Die Teilnehmenden waren 52 Junior-Entwicklerinnen und -Entwickler mit mindestens einem Jahr Python-Erfahrung, die mit der Trio-Bibliothek nicht vertraut waren
- Das Experiment bestand aus drei Phasen: Aufwärmphase, Haupt-Coding-Aufgabe (Implementierung von zwei Trio-basierten Funktionen) und Quiz
- Die Teilnehmenden arbeiteten in einer Online-Coding-Umgebung mit integriertem AI-Assistenten, der Zugriff auf den Code und die Generierung von Lösungscode unterstützte
- Die Bewertung umfasste vier Bereiche: Debugging, Code-Lesen, Code-Schreiben und konzeptuelles Verständnis, mit besonderem Fokus auf Debugging und konzeptuelles Verständnis
Zentrale Ergebnisse
- Die AI-Gruppe erreichte im Quiz durchschnittlich 50 %, die Nicht-AI-Gruppe 67 %, was ungefähr einem Unterschied von zwei Notenstufen entsprach (Cohen’s d=0.738, p=0.01)
- Die AI-Gruppe war im Durchschnitt 2 Minuten schneller, der Unterschied war jedoch statistisch nicht signifikant
- Der größte Punktunterschied zeigte sich bei den Debugging-Aufgaben, was darauf hindeutet, dass die Nutzung von AI mit einer geringeren Fähigkeit zum Verständnis von Fehlern zusammenhängen könnte
- Der Lerneffekt unterschied sich je nach Art der AI-Nutzung
- Reine Codegenerierung oder das Delegieren von Debugging an AI führten zu niedrigeren Punktzahlen
- Wer zusätzlich Konzeptfragen stellte oder um Code-Erklärungen bat, erzielte höhere Punktzahlen
Analyse nach Typen der AI-Interaktion
- Muster mit niedrigen Punktzahlen (durchschnittlich unter 40 %)
- AI-Delegationstyp (n=4): Übergab den gesamten Code an AI, war am schnellsten fertig, zeigte aber mangelndes konzeptuelles Verständnis
- Typ mit schrittweise wachsender Abhängigkeit (n=4): Versuchte es anfangs selbst, verließ sich dann aber zunehmend vollständig auf AI und zeigte beim Konzept der zweiten Aufgabe Unsicherheiten
- Iterativer Debugging-Typ (n=4): Überließ AI die Fehlerbehebung, war langsam und erzielte niedrige Punktzahlen
- Muster mit hohen Punktzahlen (durchschnittlich über 65 %)
- Typ „Generieren und dann verstehen“ (n=2): Lies zunächst Code generieren und bat AI anschließend um zusätzliche Erklärungen, mit hohem Verständnis
- Gemischter Code-Erklärungs-Typ (n=3): Fragte sowohl nach Code als auch nach Erklärungen; langsamer, aber mit besserem Verständnis
- Konzeptorientierter Erkundungstyp (n=7): Arbeitete vor allem mit Konzeptfragen, machte zwar viele Fehler, schloss die Aufgaben aber durch eigenständige Lösung schnell ab
Interpretation und Implikationen
- Die Einführung von AI erzeugt ein Spannungsfeld zwischen Produktivität und Lernen
- In Umgebungen, die schnelle Ergebnisse priorisieren, besteht die Möglichkeit, dass das Wachstum technischer Fähigkeiten von Junior-Entwicklerinnen und -Entwicklern gebremst wird
- Die Gestaltung der AI-Nutzung ist die zentrale Variable; statt bloßer Automatisierung sind Interaktionen nötig, die Lernen fördern
- Unternehmen sollten den Einsatz von AI-Tools und das Lerndesign bewusst steuern und sicherstellen, dass
Ingenieurinnen und Ingenieure die Fähigkeit behalten, von AI generierten Code zu verifizieren
Fazit und künftige Aufgaben
- Die Studie legt nahe, dass AI bei bereits beherrschten Fähigkeiten die Produktivität steigern kann, beim Erlernen neuer Fähigkeiten jedoch zum Hemmfaktor werden kann
- Da die Stichprobe klein war und nur kurzfristig bewertet wurde, ist der Zusammenhang mit langfristigem Kompetenzwachstum noch nicht belegt
- Als Themen für künftige Forschung werden genannt:
- Auswirkungen in Arbeitsbereichen außerhalb des Codings
- Ob langfristige Lerneffekte bestehen bleiben
- Unterschiede zwischen menschlichem Mentoring und AI-Unterstützung
- Auch in AI-unterstützten Umgebungen sind kognitive Anstrengung und Versuch-und-Irrtum für den Kompetenzaufbau unverzichtbar, und
AI sollte so gestaltet werden, dass sie Effizienz und Lernen gleichzeitig unterstützt
Noch keine Kommentare.