-
In letzter Zeit erzeugt AI Coding zwar schnell „ausführbaren Code“, kann aber nach Ansicht des Autors noch nicht automatisch auch das „gute Produkt“ bauen, das Nutzer erwarten
-
Der Autor sieht dafür im Wesentlichen zwei Ursachen
- Mangel an gesundem Menschenverstand/implizitem Wissen bei AI
- Bei RLVR-basiertem Training ist die Struktur so beschaffen, dass eher „erfolgreiche Code-Ausführung“ belohnt wird als „guter Code/gutes Produkt“
-
Als Beispiele nennt er die Halluzination eines Sejong-des-Großen-MacBook-Pro, einen Test in einer Autowaschanlage und das Scheitern bei der Generierung von Bildern koreanischer Klassenzimmer/Schüler; damit weist er darauf hin, dass selbst aktuelle Modelle Auffälligkeiten übersehen können, die Menschen sofort bemerken
-
Wenn die Belohnung beim Coding-RLVR zu stark auf die Ausführung fokussiert ist, können LLMs übermäßige
try-except-, Fallback- und Defensivlogik erzeugen und so technische Schulden aufbauen -
Beim Go zählt nur der Sieg, bei Software geht es jedoch nicht darum, dass sie „irgendwie läuft“, sondern dass sie ein Produkt ist, das Menschen wollen und für das sie bezahlen
-
Aus Karpathys Perspektive der AJI (Artificial Jagged Intelligence) liegen die aktuellen Schwächen von AI in den Bereichen „taste“, Produktgespür und impliziter Alltagslogik
-
Auch Anthropic sieht die Bereiche Design und Taste derzeit noch weitgehend beim Menschen, geht aber davon aus, dass diese Grenze mit verbesserten Modellen neu ausgehandelt wird
-
Der Autor prognostiziert, dass sich diese Lücke mit Modellverbesserungen wie von GPT-5.4 zu GPT-5.5 allmählich schließen wird
-
Sobald AI letztlich über ein Niveau an Gespür und Urteilsvermögen verfügt, das sich kaum noch vom Menschen unterscheiden lässt, werde sie den Turing-Test bestehen; diesen Zeitpunkt könne man als AGI betrachten
Zusammenfassung:
Das Problem von AI Coding ist nicht, dass es „nicht programmieren kann“, sondern dass es auf ausführbare Ergebnisse optimiert wird, ohne zu verstehen, welches Produkt Menschen eigentlich wollen. Die aktuelle Rolle des Menschen besteht darin, den Mangel der AI bei gesundem Menschenverstand, taste und Produkturteilen auszugleichen.
Noch keine Kommentare.