Die Illusion hinter den Behauptungen zum AI Coding: Warum es keine Explosion von Shovelware gibt

• Jüngste Datenprüfungen zu Behauptungen über Produktivitätssteigerungen durch AI-Coding-Tools zeigen, dass weder Geschwindigkeit noch Output tatsächlich spürbar zunehmen
• Laut einer METR-Studie glaubten Entwickler, dass AI-Coding-Tools ihre Produktivität um 20 % steigern würden, tatsächlich sank sie jedoch um 19 %
• Zahlreiche Werbeaussagen sowie überzogene Behauptungen von Unternehmen und Entwicklern über eine 10-fache Produktivität spiegeln sich weder in der Marktrealität noch bei neuen Software-Releases wider
• Phänomene wie ein starker Anstieg von Shovelware (in Massen produzierte Apps, minderwertige Software) sind nicht zu beobachten; sichtbare Veränderungen bleiben aus
• Übertreibungen bei der Produktivität durch Unternehmen wie GitHub, Copilot, Cursor, Google und OpenAI sowie durch einige Entwickler werden für Investitionen, Umstrukturierungen und Gehaltsfestsetzungen missbraucht
• Zentrales Fazit: „Solange nicht tatsächlich mehr Software entsteht, ist die Behauptung, AI Coding mache Entwickler 10-mal produktiver, eine Fiktion“. Entwickler sollten sich daher nicht unter Druck setzen lassen, sondern mit Daten argumentieren

---

Einleitung: Softwareentwickler sind wütend auf AI Coding

• Als langjähriger Softwareentwickler verbindet der Autor mit dem Programmieren Stolz und Identität
• Bei der frühen Einführung von AI-basierten Coding-Tools war die Erwartungshaltung hoch, doch neuere Forschungsergebnisse (METR) haben Skepsis geweckt
  • Der Autor selbst dachte, AI Coding mache ihn etwa 25 % schneller, doch die METR-Studie kam stattdessen auf 19 % Verlangsamung
• Die Studie zeigt, dass die von Entwicklern subjektiv empfundene Effizienz von AI-Tools dem gemessenen Ergebnis genau entgegengesetzt ist
• Auch eigene Experimente vermittelten den Eindruck, dass der Einsatz von AI keinen positiven Einfluss auf die tatsächliche Programmierzeit hat

Eigene Überprüfung: Zufallsvergleich mit und ohne AI

• Es wurde eine Methode genutzt, bei der pro Arbeitseinheit die Zeitdifferenz (Delta) zwischen Aufgaben mit und ohne AI-Einsatz gemessen wurde
• Die in einem sechswöchigen Experiment gewonnenen Daten zeigten keinen statistisch signifikanten Unterschied
• Trotz kleiner Stichprobe zeigte sich sogar die Tendenz, dass der Einsatz von AI tatsächlich 21 % langsamer machte (derselbe Wert wie in der METR-Studie)
• Gäbe es wirklich einen 2-fachen oder 10-fachen Effekt, hätte sich das in den Daten klar zeigen müssen
• Der aktuelle Traum vom AI Coding erfüllt sich nicht; in der Praxis ist keine Veränderung zu sehen

Erwartung und Realität: Warum es keine Shovelware-Explosion gibt

• Wenn die Produktivitätsrevolution durch AI Coding real wäre, müssten Apps, Services und Spiele aller Art explosionsartig zunehmen
• Die Marketingbotschaften zahlreicher AI-Coding-Tools (etwa „Built to make you extraordinarily productive“) sind allgegenwärtig
• Auch Google, OpenAI und GitHub Copilot behaupten 25 % mehr Geschwindigkeit oder eine 10-fache Produktivität für Entwickler
• Doch in den realen Daten zu neuen Software-Releases (GH Archive, BigQuery usw.) gibt es weder steiles Wachstum noch explosionsartige Zunahmen
• Trotz der breiten Verfügbarkeit von AI Coding seit 2022 zeigen die weltweiten Zahlen zu neuen Releases und Projekten keine großen Veränderungen

Marktauswirkungen und die Realität der Entwickler

• Es zeigen sich bereits gesellschaftliche Folgen innerhalb der Branche, etwa AI-First-Strategien, FOMO, Massenentlassungen und sinkende Entwicklergehälter
• In der realen Entwicklungsarbeit liefern AI-Tools keine Produktivitätsrevolution
• Auch Lernkurven oder größere Tool-Erfahrung erklären keinen absoluten Produktivitätsunterschied

Fazit: Nüchterne, datenbasierte Urteile sind nötig

• Entscheidend ist, dass sich bislang keine Veränderung bei der Menge neu ausgelieferter Software in den Daten erkennen lässt
• Für die Behauptung, AI mache aus Entwicklern 10x-Coder, gibt es keine Belege
• Entwickler sollten dem Druck nicht nachgeben und ihre Tool-Auswahl auf Basis selbst überprüfter Daten treffen

Erwiderungen auf häufige Gegenargumente

1. „Wenn man Prompting richtig beherrscht, wird man zum 10x-Entwickler“

   • Wenn tatsächlich Menschen eine 10-fache Produktivität erreicht hätten, müsste sich die weltweite Produktion neuer Software mehr als verdoppelt haben
   • Wichtiger als Behauptungen sind objektive Ergebnisse (Apps, Projekte usw.) als Beleg

2. „Es ist noch früh, das braucht Zeit“

   • Es wurden bereits Milliarden investiert, und die Tools sind in der Praxis längst im Einsatz
   • Die heutigen Entscheidungen beeinflussen das Leben realer Menschen direkt

3. „Wer jetzt nicht einsteigt, fällt zurück“

   • Selbst in GitHub-Copilot-Daten ist der tatsächliche Produktivitätszuwachs durch steigende Routine äußerst gering (29 % → 34 % Akzeptanzrate)

4. „Die Qualität ist besser geworden, nur die Menge bleibt gleich“

   • Die Gesamtqualität in der Branche ist eher zurückgegangen, und es wird auch weniger getestet
   • Wäre es wirklich ein Tool für 10x-Coder, müsste eine Flut von Shovelware längst Realität sein

5. „Alles dreht sich um Websites, und Domainnamen interessieren heute kaum noch. Subdomains bei Anbietern wie Vercel sind alles“

   • Es gibt weiterhin viele Nutzer, die eigene Domains bevorzugen

6. „Der Boom bei .ai-Domains (47 % in diesem Jahr) zeigt doch reales Wachstum“

   • Der Anstieg neuer Domains ist nur auf Pivots von AI-Startups zurückzuführen, nicht auf eine Explosion der Gesamtzahl neuer Domains
   • Die Gesamtzahl aller Domains zeigt das nicht

7. „Die Essenz von Entwicklung liegt in Arbeit jenseits des Codes“

   • In Umgebungen von Einzelentwicklern oder kleinen Teams statt großer Konzerne steht Code tatsächlich im Mittelpunkt
   • Trotzdem gibt es weiterhin keinen auffälligen Anstieg neuer Projekte, die kleinere Coding-Bedürfnisse befriedigen

Schluss

• Entwickler veröffentlichen in der Praxis nicht mehr als zuvor
• Die Behauptung, AI Coding liefere eine 10-fache Produktivität, lässt sich mit Daten widerlegen
• Statt sich von FOMO und Marketing-Narrativen der Branche treiben zu lassen, sollte man anhand realer Ergebnisse bewerten
• Botschaft des Autors: „Wenn du Druck spürst, zeig Daten und Diagramme. Verlange Belege für Behauptungen über 10-fache Produktivität.“