Die Auswirkungen von Gen AI auf hochqualifizierte Arbeit: Ein Experiment mit Softwareentwicklern

 (papers.ssrn.com)
1 Punkte von GN⁺ 2024-09-08 | 1 Kommentare | Auf WhatsApp teilen

Zusammenfassung

  • Studienüberblick
    • Diese Studie bewertet die Auswirkungen generativer KI auf die Produktivität von Softwareentwicklern anhand von drei randomisierten kontrollierten Experimenten, die bei Microsoft, Accenture und einem anonymen Elektronikhersteller aus den Fortune 100 durchgeführt wurden.
    • Die Experimente wurden als Teil der täglichen Arbeit in den jeweiligen Unternehmen durchgeführt, wobei zufällig ausgewählten Entwicklern der KI-gestützte Coding-Assistent GitHub Copilot zur Verfügung gestellt wurde.
    • Die Studie mit insgesamt 4.867 Softwareentwicklern ergab, dass die Zahl der abgeschlossenen Aufgaben bei Entwicklern, die KI-Tools nutzten, um 26,08 % anstieg (Standardfehler: 10,3 %).
    • Insbesondere weniger erfahrene Entwickler zeigten höhere Nutzungsraten und Produktivitätssteigerungen.

GN⁺-Zusammenfassung

  • Diese Studie zeigt, dass generative KI die Produktivität von Softwareentwicklern deutlich steigern kann.
  • Besonders nützlich ist sie für weniger erfahrene Entwickler, was darauf hindeutet, dass KI-Tools helfen können, die Lernkurve abzuflachen.
  • KI-Tools wie GitHub Copilot können eine wichtige Rolle dabei spielen, die Effizienz der Softwareentwicklung zu erhöhen.
  • Andere Projekte mit ähnlichen Funktionen sind unter anderem TabNine und Kite.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-09-08
Hacker-News-Kommentare

  • Ansicht eines erfahrenen Engineers

    • Copilot ist für erfahrene Engineers eher ein Störfaktor
    • In der Phase vor dem eigentlichen Coden ist KI sehr nützlich
    • Wenn erfahrene Entwickler KI gut einsetzen, können sie stärker davon profitieren

  • Sorgen über einen Qualitätsverlust bei IT-Fachkräften

    • Unternehmen übertragen einer einzelnen Person mehr Rollen, um Personal abzubauen
    • Mit der Einführung von DevOps und DevSecOps wurde Personal reduziert
    • Für neue Entwickler ist es schwierig, in komplexen Umgebungen viele Rollen zu erlernen
    • Die Nutzung von ChatGPT ist ein naheliegendes Ergebnis

  • Technische Schulden durch den KI-Einsatz weniger erfahrener Entwickler

    • Erfahrene Entwickler müssen technische Schulden beheben, die dadurch entstehen, dass weniger erfahrene Entwickler KI einsetzen
    • Entwickler mit geringem Interesse an Technik interessieren sich stärker für KI

  • Mangel an einer Zusammenfassung der Forschungsergebnisse

    • Die Forschungsergebnisse werden zu stark vereinfacht zusammengefasst
    • Je nach Unternehmen und Karrierephase der Entwickler fallen die Ergebnisse sehr unterschiedlich aus
    • Bei Microsoft gibt es kein statistisch signifikantes Ergebnis

  • Einfluss von LLMs auf die Entwicklung von Entwicklern

    • LLMs können die Entwicklung von Entwicklern behindern
    • Wenn Junior-Entwickler LLMs verwenden, wird der Lernprozess ersetzt
    • Die eigentliche Fähigkeit besteht dann darin, Prompts anzupassen

  • Produktivitätsunterschiede zwischen erfahrenen und Junior-Entwicklern

    • Bei erfahrenen Entwicklern steigt die Produktivität durch Copilot nicht stark an
    • Die Produktivitätssteigerung von Junior-Entwicklern kann zu einem Produktivitätsrückgang bei erfahrenen Entwicklern führen

  • Hilfe durch KI beim Erlernen neuer Technologien

    • Beim Erlernen neuer Technologien hilft KI stärker

  • Updates bei Copilot

    • Copilot basiert auf GPT-3.5
    • Copilot Chat, aktualisiert auf GPT-4, wurde am 30. November 2023 veröffentlicht

  • Die Bedeutung einer steigenden Zahl von PRs

    • Eine steigende Zahl von PRs ist nicht das Entscheidende
    • Wichtig ist, ob KI die Zahl der Elemente erhöht, die QA bestehen, oder Bugs reduziert
    • Es ist nicht sinnvoll, einfach nur die Zahl der PRs zu zählen

  • Ergebnisse des KI-Einsatzes in Unternehmen

    • Als Folge des KI-Einsatzes im Unternehmen wurden ineffiziente Entwickler entlassen