-
In letzter Zeit erzeugt AI Coding zwar schnell „ausführbaren Code“, kann aber nach Ansicht des Autors noch nicht automatisch auch das „gute Produkt“ bauen, das Nutzer erwarten
-
Der Autor sieht dafür im Wesentlichen zwei Ursachen
- Mangel an gesundem Menschenverstand/implizitem Wissen bei AI
- Bei RLVR-basiertem Training ist die Struktur so beschaffen, dass eher „erfolgreiche Code-Ausführung“ belohnt wird als „guter Code/gutes Produkt“
-
Als Beispiele nennt er die Halluzination eines Sejong-des-Großen-MacBook-Pro, einen Test in einer Autowaschanlage und das Scheitern bei der Generierung von Bildern koreanischer Klassenzimmer/Schüler; damit weist er darauf hin, dass selbst aktuelle Modelle Auffälligkeiten übersehen können, die Menschen sofort bemerken
-
Wenn die Belohnung beim Coding-RLVR zu stark auf die Ausführung fokussiert ist, können LLMs übermäßige
try-except-, Fallback- und Defensivlogik erzeugen und so technische Schulden aufbauen -
Beim Go zählt nur der Sieg, bei Software geht es jedoch nicht darum, dass sie „irgendwie läuft“, sondern dass sie ein Produkt ist, das Menschen wollen und für das sie bezahlen
-
Aus Karpathys Perspektive der AJI (Artificial Jagged Intelligence) liegen die aktuellen Schwächen von AI in den Bereichen „taste“, Produktgespür und impliziter Alltagslogik
-
Auch Anthropic sieht die Bereiche Design und Taste derzeit noch weitgehend beim Menschen, geht aber davon aus, dass diese Grenze mit verbesserten Modellen neu ausgehandelt wird
-
Der Autor prognostiziert, dass sich diese Lücke mit Modellverbesserungen wie von GPT-5.4 zu GPT-5.5 allmählich schließen wird
-
Sobald AI letztlich über ein Niveau an Gespür und Urteilsvermögen verfügt, das sich kaum noch vom Menschen unterscheiden lässt, werde sie den Turing-Test bestehen; diesen Zeitpunkt könne man als AGI betrachten
Zusammenfassung:
Das Problem von AI Coding ist nicht, dass es „nicht programmieren kann“, sondern dass es auf ausführbare Ergebnisse optimiert wird, ohne zu verstehen, welches Produkt Menschen eigentlich wollen. Die aktuelle Rolle des Menschen besteht darin, den Mangel der AI bei gesundem Menschenverstand, taste und Produkturteilen auszugleichen.
10 Kommentare
Ich weiß nicht, was für ein Mensch den Artikel geschrieben hat, aber persönlich war es für mich einer der schlechtesten Texte, die ich in den letzten zehn Jahren gelesen habe.
Ich war so schockiert, dass ich beim Lesen wie benommen war.
Dann schreiben Sie doch selbst einmal einen guten Text.
Es gibt Punkte, denen ich zustimme, und andere, bei denen das nicht so ist. Letztlich scheint es mir weiterhin richtig zu sein, dass menschliche Intelligenz aktiv eingreift. Auch Vibe-Coder sollten, selbst wenn sie nicht gut programmieren können, auf Basis von Softwarearchitektur oder zumindest eines Mindestmaßes an gesundem Menschenverstand entwickeln. Letztlich werden Ideen, die weder gemanagt werden können noch über Domänenwissen verfügen, auf Sand gebaut sein und meiner Ansicht nach nicht lange Bestand haben.
Ich halte den Text für wenig lesenswert: Offensichtliches wird unnötig lang ausgeführt und dabei nur eine Reihe bekannter Namen aufgezählt.
Ich halte das auch für eine selbstverständliche Aussage.
Ich habe diesen Beitrag aber geschrieben, weil ich das tatsächlich selbst erlebt und außerdem aus mehreren Communitys gehört habe.
Krass.
Das wurde schon früher immer wieder gesagt. Aber letztlich ist es ein Problem, das die Zeit lösen wird. Wird es in 10 Jahren immer noch so sein wie jetzt?
Ich glaube, das ist anders.
Wenn KI eines Tages Fragen stellen und eine Meinung zu Dingen äußern kann, die nicht einmal in der Anweisung stehen,
könnte der Mensch vielleicht wirklich ersetzt werden, aber
so wie reiche Menschen eher einen Chauffeur mitnehmen, statt selbstfahrende Autos zu nutzen,
wird der Ingenieur der Zukunft dann vielleicht jemand sein (also ich), der jedes Mal stellvertretend alles einzeln überprüft, wenn man ihm sagt, was er tun soll?
Wichtiger als bei dem aktuellen Stand der LLMs einfach nur Zweifel zu haben, ist es wohl, über „gesunden Menschenverstand“ zu verfügen.
Vor ein paar Jahren sagte eine bekannte Person voraus, dass LLMs in Zukunft im Handumdrehen alles entwickeln könnten, was Menschen wollen, und Softwareunternehmen deshalb verschwinden würden.