AGI ist noch zehn Jahre entfernt: Was Andrej Karpathy über die Realität von KI-Agenten sagt

Der ehemalige OpenAI- und Tesla-AI-Direktor Andrej Karpathy hat kürzlich in einem Podcast mit Dwarkesh Patel eine nüchterne Bestandsaufnahme zur Zukunft von KI-Agenten und zur AGI-Zeitachse abgegeben. Während die Branche vom „Jahr der Agenten“ spricht, hat er offen dargelegt, warum es stattdessen das „Jahr der Agenten“ für zehn Jahre sein sollte und welches das grundlegende Problem des aktuellen Reinforcement Learnings ist.

Kernpunkte:

• „Supervision wird durch einen Strohhalm gezogen“: Der tödliche Schwachpunkt von RL – Der heutige RL-Ansatz bewertet den gesamten Ablauf nach hunderten Versuchen anhand eines einzigen richtigen Signales und ist daher grundsätzlich ineffizient und stark verrauscht
• Die echte Leistungsfähigkeit von Coding-KI: Was das nanochat-Projekt gezeigt hat – Beim Aufbau eines 8.000-Zeilen-ChatGPT-Klons zeigte sich der KI-Agent als deutlich schwach bei der Erstellung origineller Codes; das beste Ergebnis war im Wesentlichen Autovervollständigung
• Das Dilemma des Modell-Kollapses: Die verborgene Falle synthetischer Daten – Alle von einem LLM generierten Samples haben eine „still kollabierte“ Verteilung, weshalb ChatGPT auf die Aufforderung, einen Witz zu erzählen, oft nur etwa drei Varianten wiederholt