Andrej Karpathy – AGI ist noch mindestens 10 Jahre entfernt

• Andrej Karpathy argumentiert, dass es nicht das „Jahr der Agenten“, sondern das „Jahrzehnt der Agenten“ sein wird, widerspricht damit den überzogenen Prognosen der AI-Branche und geht davon aus, dass etwa zehn Jahre schrittweiser Verbesserungen nötig sind
• Aktuelle LLMs fehlen zentrale kognitive Fähigkeiten wie kontinuierliches Lernen, multimodale Funktionen und die Fähigkeit zur Computernutzung; die Lösung dieser Probleme werde voraussichtlich rund zehn Jahre dauern
• Anders als die von der Evolution Tieren verliehene eingebaute Hardware seien LLMs eine durch Imitation von Internetdaten entstandene „seelenartige Existenz“; es handle sich um eine andere Art von Intelligenz, weshalb direkte Vergleiche mit Tieren unangebracht seien
• RL (Reinforcement Learning) ist ziemlich ineffizient, doch auch alternative Methoden sind noch nicht weit genug entwickelt. Wegen Model Collapse und Vergessen bei LLMs gibt es Grenzen dafür, Wissen wie das menschliche Gehirn natürlich fortlaufend aufzunehmen oder weiterzuentwickeln
• Vortraining ist „schlechte Evolution“: 15 Billionen Token werden drastisch in einige Milliarden Parameter komprimiert, sodass nur eine schwache Erinnerung an Internetdokumente bleibt
• AGI werde letztlich in die übliche 2-%-BIP-Wachstumskurve eingeordnet werden; es sei als schrittweise Ausweitung des Computings zu sehen, nicht als diskontinuierlicher Sprung (einschließlich der Debatte um Superintelligenz)

---

Zeitpunkt des Eintreffens von AGI und Tempo der AI-Entwicklung

• Andrej Karpathy betont: „Das Zeitalter der AI-Agenten ist kein Thema dieses Jahres, sondern ein Prozess im Maßstab von zehn Jahren.“
• Zwar werden heute verschiedene AI-Agenten wie Claude und Codex bereits nützlich eingesetzt, doch bei kontinuierlichem Lernen, multimodaler Verarbeitung und komplexer Computernutzung gibt es weiterhin Defizite
• Damit AGI praktisch wie ein menschlicher Mitarbeiter oder Praktikant arbeiten kann, müssen schwierige Probleme wie höhere Intelligenz, dauerhaftes Gedächtnis und die Beherrschung mehrerer Fähigkeiten gelöst werden
• Zu den Entwicklungsprognosen der AI-Branche sagt Karpathy, dass er nach über 15 Jahren Praxiserfahrung schätzt: Die schwierigen Probleme sind zwar lösbar, aber so anspruchsvoll, dass etwa zehn Jahre nötig sein dürften

Richtungswechsel in der frühen AI-Forschung

• Deep Learning war vor AlexNet ein Nischenthema, doch 2012 brachte AlexNet die erste dramatische tektonische Verschiebung, die das gesamte Feld auf das Trainieren neuronaler Netze ausrichtete
• Um 2013 war Deep Reinforcement Learning mit Atari der falsche Weg, und auch der frühe spielzentrierte Ansatz von OpenAI war ein Fehler
  • Er war skeptisch gegenüber der Idee, dass Spiele zu AGI führen würden, und hielt Interaktion mit der realen Welt für notwendig
  • OpenAIs Projekt Universe kam zu früh, und die Belohnungen waren zu selten, um Lernen zu ermöglichen
• Agenten auf LLMs sind der richtige Pfad; zuerst muss man Ausdrucksfähigkeit gewinnen und danach Agenten bauen
  • Der aktuelle Ansatz, Computer-Use-Agenten auf großen Sprachmodellen zu trainieren, ist plausibel
  • Erst durch Vortraining und die Arbeit mit LLMs erhält man die Repräsentationen, die Agentenaufgaben überhaupt ermöglichen
• Insgesamt entwickelte sich das AI-Feld entlang des Flusses Perzeptron/Neuronale Netze → Agenten (RL) → LLMs/verstärktes Repräsentationslernen

Unterschied zwischen menschlichem Lernen und tierischer Evolution

• Bei Tieren (z. B. Zebras) sind komplexe Verhaltensweisen durch Evolution genetisch eingebettet; die AI-Forschung ahmt den eigentlichen Evolutionsprozess nicht nach, sondern nutzt vor allem Imitationslernen über Internetmaterial (Pre-Training)
• Heutige LLMs sind strukturell anders als durch Evolution hervorgebrachte Organismen. Lebewesen bringen ihre Hardware (neuronale Netze) mit, während AI eher als softwareartiger „Geist“ beschrieben wird
• Ähnlichkeiten zwischen menschlichem Gehirn und AI sollten nur begrenzt als Referenz dienen; ein auf praktische Ziele (Nützlichkeit) fokussierter Ansatz ist realistischer

In-Context-Learning vs. Vortraining

• Vortraining ist das Ergebnis der Komprimierung der enormen Informationsmenge des Internets; das vom Modell erinnerte Wissen ist verschwommen und unvollständig
  • Informationen zu einer konkreten Frage werden innerhalb des Kontextfensters direkter wie ein „Arbeitsgedächtnis“ genutzt
• In-Context-Learning ist eine vage Form des Arbeitsgedächtnisses, Vortraining eine vage Form des Langzeitgedächtnisses
  • Alles im KV-Cache ist Arbeitsgedächtnis, auf das das neuronale Netz direkt zugreifen kann
  • Alles in den Gewichten ist eine verschwommene Erinnerung an etwas, das vor einem Jahr gelesen wurde
• In-Context-Learning könnte intern Gradientenabstieg implementieren
  • Forschung zu linearer Regression fand Ähnlichkeiten zwischen Gewichten neuronaler Netze und Mechanismen des Gradientenabstiegs
  • Durch das Lernen von Pattern Completion werden kleine Schaltkreise und Algorithmen im Inneren des neuronalen Netzes gebootstrapped
• 0,07 Bit pro Token beim Vortraining vs. 320 Kilobyte pro Token beim In-Context-Learning
  • In-Context-Learning hat bei der Informationsassimilation pro Token eine 35 Millionen Mal höhere Kapazität
  • Der dramatische Unterschied in der Kompressionsrate spiegelt fundamentale Unterschiede in der Lernweise wider

Kognitive Unterschiede zwischen Menschen und LLMs

• Fehlen von Hirnregionen wie Hippocampus und Amygdala
  • Transformer entsprechen der kortikalen Organisation und besitzen eine dem präfrontalen Kortex ähnliche Fähigkeit zum Schlussfolgern
  • Zentrale Hirnregionen wie Hippocampus (Gedächtnis) und Amygdala (Emotion) werden jedoch nicht nachgebildet
• Fehlender Mechanismus für kontinuierliches Lernen
  • Beim Menschen wird Kontextinformation aus dem Tagesverlauf durch Prozesse wie Schlaf in innere Gewichte destilliert
  • LLMs starten jede Sitzung wieder mit null Token und haben keine Destillationsphase. Es fehlt also ein entsprechender Mechanismus für Langzeitgedächtnis bzw. kontinuierliches Lernen
• Reinforcement Learning ist „schrecklich“
  • Alle Token aus Rollouts mit richtiger Antwort werden nach oben gewichtet, obwohl sie voller Rauschen sind
  • Auf diese Weise wird „Supervision durch einen Strohhalm gesaugt“, indem die gesamte Trajektorie nur anhand der Endbelohnung bewertet wird
  • Menschen bewerten einzelne Teile über komplexe Prüfprozesse, doch LLMs haben kein entsprechendes Äquivalent

Grenzen prozessbasierter Supervision

• LLM-Richter lassen sich austricksen
  • Werden LLMs zur Zuweisung von Belohnungen verwendet, ist das Finden adversarialer Beispiele fast garantiert
  • Es gab Fälle, in denen unsinnige Ausgaben wie „dhdhdhdh“ 100 % Belohnung erhielten
• Anfälligkeit außerhalb des Generalisierungsbereichs
  • Bei Eingaben, die das Modell im Training nie gesehen hat, vergeben LLM-Richter extreme Bewertungen
  • Durch wiederholtes Training lässt sich das verbessern, doch bei einem Billionen-Parameter-Modell gibt es unendlich viele adversariale Beispiele
• Notwendigkeit synthetischer Daten und von Review
  • Es werden Ansätze erprobt, die über Lösungskontrolle und die Erzeugung synthetischer Beispiele Meta-Lernen betreiben
  • Auf dem Niveau von Frontier-LLM-Laboren gibt es noch keine überzeugende Methode, die mit voller Allgemeinheit funktioniert

Menschliches Lernen vs. Lernen von LLMs

• Menschen nutzen Reinforcement Learning kaum
  • Der Großteil von RL betrifft motorische Aufgaben wie das Werfen eines Basketballs in den Korb
  • Für kognitive Aufgaben wie Problemlösen wird RL nicht verwendet
• Bücherlesen ist ein Prompt zur Erzeugung synthetischer Daten
  • Menschen lesen Bücher, manipulieren Informationen und erwerben so Wissen
  • LLMs rollen nur Textsequenzen aus und lernen durch Vorhersage des nächsten Tokens
• Problem des Model Collapse
  • LLM-Samples wirken einzeln vernünftig, aber ihre Verteilung kollabiert stillschweigend
  • ChatGPT wiederholt nur drei Witze statt der gesamten Bandbreite möglicher Witze
  • Auch Menschen kollabieren mit der Zeit, aber Kinder, die noch nicht overfitted sind, können verblüffende Dinge sagen

Gleichgewicht zwischen Auswendiglernen und Generalisierung

• LLMs sind extrem gut im Auswendiglernen
  • Selbst völlig zufällige Sequenzen können nach ein- oder zweimaligem Wiederholen vollständig rezitiert werden
  • Menschen können keine zufälligen Zahlenfolgen vollständig aufsagen
• Auswendiglernvermögen ist kein Bug, sondern ein Feature
  • Menschen sind gezwungen, nur generalisierbare Bausteine zu lernen
  • LLMs werden durch Erinnerungen an Vortrainingsdokumente abgelenkt
• Wissen muss aus dem kognitiven Kern entfernt werden
  • Erwartet wird ein kognitiver Kern von etwa einer Milliarde Parametern
  • Wissen soll entfernt werden, sodass nur Algorithmen und Strategien bleiben
  • Das könnte durch Bereinigung des Vortrainingssatzes und Destillation in kleinere Modelle gelöst werden

Künftige Verbesserungsrichtungen und technischer Ausblick

• In den kommenden zehn Jahren müssten Architektur, Optimierung (Optimizer), Loss-Funktionen, Daten, Software und Hardware in allen Bereichen gleichzeitig vorankommen, damit bedeutende Fortschritte möglich werden
• Die aktuelle Transformer-Struktur oder Deep-Learning-Methoden werden teils bestehen bleiben, doch sparse attention, mehr Rechenleistung und große Datenmengen dürften hinzukommen
• Schon bisher zeigte sich, dass nicht ein einzelner Faktor entscheidend war, sondern parallele Verbesserungen in vielen Bereichen

Kognitive Schwächen von LLMs und Einsatz von Coding-Tools

• LLMs werden häufig zur Code-Unterstützung genutzt, haben aber bei konzentrierter Programmierung, die eigenständiges Design und eigene Vorgehensweisen erfordert, viele Grenzen
• Meist werden drei Modi gemischt: (1) komplett manuelles Schreiben, (2) Nutzung von Autocomplete und (3) der „Agent“-Ansatz
• Bei Basiscode funktioniert das LLM umso besser, je repetitiver er ist und je mehr gute Beispiele es gibt; bei originellem Code, bei dem Struktur wichtig ist, treten Probleme wie Festhalten an bestehenden Stilen, unnötig steigende Komplexität und Missverständnisse bei Konventionen deutlich hervor
• Als konkretes Beispiel empfahl das LLM immer wieder den Einsatz von PyTorch-DDP-Containern, obwohl diese nicht gewünscht waren, und behinderte dadurch den bevorzugten Codestil und die gewünschte Implementierungsweise

Erfahrungen bei der Entwicklung von nanochat

• LLMs sind für eigenwillige Codebasen ungeeignet
  • nur nützlich für Boilerplate-Code und Dinge, die häufig im Internet vorkommen
  • nanochat ist intellektuell anspruchsvoll und erfordert präzise Anordnungen, die Modelle missverstehen das daher immer wieder
• Autovervollständigung ist die optimale Nutzungsweise
  • Vibe Coding funktioniert nur in bestimmten Setups
  • Autovervollständigung bietet mit den ersten paar Buchstaben eine hohe Informationsbandbreite
• Nützlich zum Lernen neuer Sprachen wie Rust
  • wenn man eine Python-Referenzimplementierung und Tests hat, kann man sicher per Vibe Coding arbeiten
  • verbessert den Zugang zu weniger vertrauten Sprachen oder Paradigmen

Die Realität der Automatisierung im AI Engineering

• Aktuelle Modelle reichen für die Automatisierung von AI-Forschung nicht aus
  • Programmierung ist textbasiert und damit der perfekte erste Fit für LLMs
  • für Code, der zuvor noch nie geschrieben wurde, sind sie jedoch nicht besonders gut
• Die Lücke zwischen Demo und Produkt
  • seit den 1980er Jahren gibt es Demos für autonomes Fahren, aber die Produktisierung dauert lange
  • "Marsch der Neunen" – jede weitere 9 bedeutet einen bestimmten Arbeitsaufwand, von 90 % bis 99,999 % sind kontinuierliche Verbesserungen nötig
• Eine Intelligenzexplosion wird in der BIP-Kurve nicht sichtbar sein
  • selbst transformative Technologien wie Computer oder das iPhone lassen sich im BIP nicht finden
  • alles ist zu breit verteilt und diffundiert zu langsam, sodass es zum gleichen 2%-Mittelwert nivelliert wird

Lehren aus dem autonomen Fahren

• Autonomes Fahren ist noch nicht abgeschlossen
  • selbst Waymo hat nur sehr wenige Fahrzeuge und betreibt sie unwirtschaftlich
  • Menschen in Fernsteuerungszentren sind weiterhin im Loop
• Gemeinsamkeiten sicherheitskritischer Domänen
  • auch im Software Engineering sind die Kosten von Fehlern hoch, etwa durch Sicherheitslücken
  • ähnlich wie beim autonomen Fahren braucht es einen "Marsch der Neunen"
• Teslas skalierbarer Ansatz
  • Waymo startete früh mit vielen Sensoren
  • Tesla ist langfristig mit einer besser skalierbaren Strategie im Vorteil

Vergleich: autonomes Fahren vs. AI für Wissensarbeit

• Der Bit-Bereich ist millionenfach einfacher als die physische Welt
  • Bits lassen sich verändern und schnell neu anordnen
  • die industrielle Anpassung dürfte deutlich schneller verlaufen
• Unterschiede bei den Investitionskosten
  • autonomes Fahren braucht für jede Kopie ein komplett neues Auto
  • AI-Modelle können zusätzliche Instanzen allein über Inferenzkosten bereitstellen
• Die Komplexität gesellschaftlicher Akzeptanz
  • rechtliche, versicherungstechnische und regulatorische Aspekte müssen gelöst werden
  • es wird auch bei AI ein Äquivalent zu den Leuten geben, die einen Kegel auf ein Waymo-Auto stellen

Die Vision von Eureka Labs

• Aufbau einer Starfleet Academy
  • eine Elite-Bildungseinrichtung für Frontier-Technologien
  • vermittelt Wissen über neueste Technologien einschließlich AI
• Nach AGI wird Bildung Vergnügen sein
  • vor AGI: nützliche Bildung, um Geld zu verdienen
  • nach AGI: Bildung als Unterhaltung, man geht zur Schule wie ins Fitnessstudio
• Warten auf den perfekten AI-Tutor
  • die Erfahrung mit einem persönlichen Koreanisch-Tutor setzt den Maßstab
  • erfasst das Verständnis der Lernenden, bietet die passende Herausforderung und vermittelt Informationen perfekt
  • mit den heutigen Fähigkeiten unmöglich, aber künftig denkbar

Prinzipien für die Gestaltung von Lehrmaterialien

• Physikalische Denkweise
  • Systeme in Termen erster, zweiter und dritter Ordnung verstehen
  • Modelle und Abstraktionen bilden
  • der Wert der Annahme einer "kugelförmigen Kuh"
• Erst den Schmerz zeigen, dann die Lösung
  • Lernenden zuerst die Gelegenheit geben, es selbst zu versuchen
  • vor der Lösung mit Prompts Motivation schaffen
• Das Beispiel micrograd
  • zeigt in 100 Zeilen den Kern von Backpropagation
  • alles andere ist nur Effizienz
  • es geht nur um die rekursive Anwendung der Kettenregel

Effektive Lernstrategien

• Depth-first, Lernen nach Bedarf
  • beim Lernen über ein konkretes Projekt Belohnung erhalten
  • im Wechsel mit Breadth-first-Lernen nach Schulart
• Es anderen erklären
  • deckt Verständnislücken auf und zwingt dazu, sie zu schließen
  • durch das Manipulieren von Wissen entsteht tiefes Verständnis
• Mittagsgespräche > Papers
  • drei Sätze, die man auf einer Konferenz bei einem Bier hört, sind klarer als ein Paper

> Ich erkläre Dinge gern noch einmal, und andere sollten das ebenfalls tun. Denn dann muss man Wissen aktiv verarbeiten und sicherstellen, dass man wirklich versteht, wovon man spricht, wenn man es erklärt.

---

# [Vollständiges Skript]

00:00:00 – AGI ist noch mindestens 10 Jahre entfernt

Dwarkesh Patel 00:00:00

Heute spreche ich mit Andrej Karpathy. Andrej, warum sagen Sie, dass es nicht das „Jahr der Agenten“, sondern das „Jahrzehnt der Agenten“ sein wird?

Andrej Karpathy 00:00:07

Zunächst einmal danke für die Einladung. Ich freue mich, hier zu sein.

Der Ausdruck "Jahrzehnt der Agenten", den Sie gerade erwähnt haben, war eigentlich eine Reaktion auf eine Formulierung, die schon im Umlauf war. Ich weiß nicht genau, von wem sie stammt, aber im Zusammenhang mit der Entwicklung von LLMs wurde angedeutet, dass dieses Jahr das „Jahr der Agenten“ werden würde. Das hat mich provoziert, weil ich glaube, dass in der Branche viele überzogene Vorhersagen kursieren. Meiner Ansicht nach ist die Formulierung „Jahrzehnt der Agenten“ viel treffender.

Wir haben bereits Agenten in einem frühen, aber sehr beeindruckenden Stadium, und ich nutze Dinge wie Claude oder Codex jeden Tag. Aber ich habe immer noch das Gefühl, dass noch enorm viel Arbeit vor uns liegt. Ich denke, wir werden die nächsten 10 Jahre mit diesen Dingen arbeiten. Sie werden immer besser werden, und sie werden großartig sein. Ich reagiere damit nur auf diesen impliziten Zeitplan.

Dwarkesh Patel 00:00:58

Warum glauben Sie, dass es 10 Jahre dauern wird? Wo liegen die Engpässe?

Andrej Karpathy 00:01:02

Es geht darum, sie tatsächlich zum Funktionieren zu bringen. Wenn wir über Agenten sprechen, dann sollten sie nach dem Verständnis der AI-Labore, und vermutlich auch nach meinem, so etwas wie Mitarbeitende oder Praktikanten sein, die man zur Zusammenarbeit einstellen würde. Sie arbeiten hier ja auch mit Mitarbeitenden zusammen. Wann würden Sie wollen, dass ein Agent wie Claude oder Codex diese Arbeit übernimmt?

Derzeit ist das natürlich unmöglich. Was müsste passieren, damit es möglich wird? Warum nutzen wir sie heute nicht dafür? Der Grund ist simpel: weil sie nicht richtig funktionieren. Sie sind nicht intelligent genug, nicht multimodal genug und können Dinge wie Computerbedienung nicht leisten.

Sie können viele der Dinge nicht, die Sie zuvor erwähnt haben. Sie haben keine Fähigkeit zum kontinuierlichen Lernen. Wenn man ihnen etwas beibringt, kann man nicht erwarten, dass sie es sich merken. Ihnen fehlt es in vielerlei Hinsicht an kognitiven Fähigkeiten, und sie funktionieren nicht richtig. All diese Probleme zu lösen, wird ungefähr 10 Jahre dauern.

Dwarkesh Patel 00:01:44

Sehr interessant. Als professioneller Podcaster und jemand, der AI aus der Ferne beobachtet, ist leicht zu erkennen, was fehlt. Etwa dass kontinuierliches Lernen fehlt oder Multimodalität fehlt. Aber es gibt keinen guten Weg, dafür einen Zeitplan festzulegen. Wenn mich jemand fragen würde, wie lange kontinuierliches Lernen braucht, hätte ich überhaupt kein Gefühl dafür, ob das ein Projekt für 5, 10 oder 50 Jahre ist. Warum also 10 Jahre? Warum nicht 1 oder 50?

Andrej Karpathy 00:02:16

An dieser Stelle komme ich zu meiner persönlichen Intuition und leite sie aus meiner Erfahrung vor Ort ab. Ich bin seit fast 20 Jahren im Bereich AI. Oder vielleicht 15 Jahren. Also doch nicht ganz so lange. Richard Sutton, der ebenfalls hier zu Gast war, ist schon sehr viel länger dabei. Ich selbst habe ungefähr 15 Jahre Erfahrung und habe in dieser Zeit beobachtet, wie Menschen Vorhersagen treffen und wie sie sich dann erfüllt haben. Außerdem war ich eine Zeit lang in der Industrie, dann in der Forschung und später wieder in der Industrie. Aus diesen Erfahrungen ist mir eine allgemeine Intuition geblieben.

Mein Gefühl ist, dass diese Probleme lösbar und überwindbar sind, aber weiterhin schwierig. Im Durchschnitt betrachtet fühlt es sich für mich einfach nach 10 Jahren an.

Dwarkesh Patel 00:02:57

Sehr interessant. Ich würde gern nicht nur aus historischer Sicht hören, sondern auch, was die Menschen in den Momenten verschiedener Durchbrüche damals glaubten, was passieren würde. Inwiefern waren ihre Vorhersagen zu pessimistisch oder zu optimistisch? Wollen wir sie eine nach der anderen durchgehen?

Andrej Karpathy 00:03:16

Das ist eine enorm große Frage. Wir sprechen schließlich über Entwicklungen der vergangenen 15 Jahre. AI ist ein wirklich erstaunliches Feld. Es gab einige tektonische Umbrüche, in denen das gesamte Feld plötzlich völlig anders aussah. Ich habe davon wahrscheinlich zwei oder drei selbst miterlebt. Und ich glaube, dass es auch in Zukunft weitere geben wird. Sie treten fast schon überraschend regelmäßig auf.

Als meine Karriere begann, als ich anfing, an Deep Learning zu arbeiten, kam mein Interesse an Deep Learning eher zufällig daher, dass ich an der University of Toronto direkt neben Geoff Hinton war. Geoff Hinton ist natürlich so etwas wie der Pate der AI. Er trainierte diese neuronalen Netze, und ich fand das erstaunlich und spannend. Aber das war damals keineswegs das, womit sich alle in der AI hauptsächlich beschäftigten. Es war einfach ein kleines Nischenthema in einer Ecke. Der erste dramatische tektonische Wandel kam dann wohl mit AlexNet.

AlexNet hat alle neu ausgerichtet, und plötzlich begannen alle, neuronale Netze zu trainieren. Aber man arbeitete immer noch aufgabenbezogen, also sehr spezifisch für einzelne Aufgaben. Man hatte etwa einen Bildklassifikator oder eine neuronale maschinelle Übersetzung. Die Leute begannen nur sehr langsam, sich für Agenten zu interessieren. So nach dem Motto: „Okay, so etwas wie den visuellen Kortex haben wir abgehakt, aber was ist mit den anderen Teilen des Gehirns, und wie bekommen wir einen vollständigen Agenten oder ein vollständiges Wesen, das mit der Welt interagieren kann?“

Der Atari-Deep-Reinforcement-Learning-Umbruch um 2013 war meiner Meinung nach ein Teil dieser frühen Bemühungen rund um Agenten. Es ging nicht mehr nur darum, die Welt wahrzunehmen, sondern einen Agenten zu bauen, der handelt, interagiert und Belohnungen aus seiner Umgebung erhält. Damals waren das eben Atari-Spiele.

Ich habe das als die falsche Richtung empfunden. Sogar das frühe OpenAI, an dem ich beteiligt war, hat diese falsche Richtung eingeschlagen. Denn der Zeitgeist drehte sich damals um Reinforcement-Learning-Umgebungen, Spiele, Gameplay, Spiele zu gewinnen und verschiedenste Arten von Spielen zu erschließen, und OpenAI hat viel davon gemacht. Das war alles ein Stück weit ein Irrweg. Wahrscheinlich haben zwei, drei, vier Jahre lang alle Reinforcement Learning auf Spiele angewendet, und das war insgesamt ein Stück weit die falsche Richtung.

Was ich bei OpenAI machen wollte — ich war immer etwas skeptisch gegenüber der Idee, dass Spiele zu AGI führen würden. Ich wollte eher etwas wie einen Buchhalter, also etwas, das mit der realen Welt interagiert. Ich konnte nicht nachvollziehen, wie Spiele dorthin führen sollten. Mein Projekt bei OpenAI drehte sich zum Beispiel im Rahmen des Universe-Projekts um Agenten, die mit Tastatur und Maus Webseiten bedienen. Ich wollte wirklich etwas bauen, das mit der echten digitalen Welt interagieren und Wissensarbeit leisten kann.

Wie sich herausstellte, war das aber viel zu früh, zu früh in einem Ausmaß, in dem wir eigentlich noch nicht daran hätten arbeiten sollen. Denn wenn man einfach nur herumstochert, auf der Tastatur hämmert und mit der Maus klickt, um in solchen Umgebungen Belohnungen zu bekommen, dann sind diese Belohnungen viel zu spärlich, als dass Lernen funktionieren könnte. Man verbrennt enorme Rechenressourcen, erzielt aber nie Ergebnisse. Was uns fehlte, war die Ausdrucksstärke in neuronalen Netzen.

Heute trainieren Menschen zum Beispiel Computer-Use-Agenten, aber sie tun das auf Basis großer Sprachmodelle. Man muss zuerst ein Sprachmodell haben, man muss zuerst Repräsentationen haben, und das erreicht man durch Pretraining und all die Arbeit rund um LLMs.

Mein Eindruck ist grob gesagt, dass die Leute mehrfach versucht haben, das vollständige System zu früh zu bekommen. Ich würde sagen, die Leute haben Agenten zu früh verfolgt. Das galt für Atari und Universe, und das gilt sogar für meine eigenen Erfahrungen. Bevor man wirklich bei Agenten ankommt, gab es zuerst andere Dinge zu erledigen. Jetzt sind Agenten viel leistungsfähiger, aber wahrscheinlich fehlt uns immer noch ein Teil dieses Stacks.

Ich würde sagen, das waren die drei Hauptkategorien, an denen die Leute gearbeitet haben: aufgabenspezifisches Training neuronaler Netze, erste Versuche mit Agenten und dann das Streben nach Ausdrucksstärke in neuronalen Netzen, bevor man LLMs und alles Weitere darauf aufbauen konnte.

Dwarkesh Patel 00:07:02

Interessant. Wenn ich Suttons Sichtweise etwas entschiedener verteidigen soll: Menschen können doch alles auf einmal aufnehmen. Oder selbst Tiere können alles auf einmal aufnehmen. Tiere sind vielleicht sogar das bessere Beispiel, weil ihnen nicht einmal das Gerüst der Sprache zur Verfügung steht. Sie werden einfach in die Welt geworfen und müssen alles ohne jegliche Labels verstehen.

Sollte die Vision für AGI dann nicht darin bestehen, sensorische Daten zu betrachten, auf einen Computerbildschirm zu schauen und von Grund auf zu verstehen, was vor sich geht? Wenn Menschen in eine ähnliche Situation versetzt würden und von Grund auf trainiert werden müssten ... das ist doch im Grunde das, was beim Aufwachsen von Menschen oder Tieren passiert. Warum sollte das nicht die Vision für AI sein, anstatt Millionen Jahre Training zu durchlaufen?

Andrej Karpathy 00:07:41

Das ist eine wirklich gute Frage. Sutton war in deinem Podcast, ich habe den Podcast gesehen und auch etwas darüber geschrieben, wie ich darüber denke. Ich bin sehr vorsichtig mit Analogien zu Tieren. Denn Tiere sind durch einen sehr anderen Optimierungsprozess entstanden. Tiere haben sich entwickelt und kommen mit einer enormen Menge eingebauter Hardware auf die Welt.

Mein Beispiel in diesem Beitrag war zum Beispiel das Zebra. Ein Zebra wird geboren und läuft wenige Minuten später herum und folgt seiner Mutter. Das ist unglaublich komplex. Das ist kein Reinforcement Learning. Das ist eingebaut. Die Evolution hat offensichtlich eine Möglichkeit, die Gewichte unserer neuronalen Netze in ATCG zu kodieren, und ich weiß nicht, wie das funktioniert, aber offenbar funktioniert es.

Das Gehirn ist aus einem sehr anderen Prozess hervorgegangen, und ich bin äußerst zurückhaltend, daraus direkte Inspiration abzuleiten. Denn wir führen diesen Prozess ja tatsächlich gar nicht aus. In meinem Beitrag habe ich gesagt, dass wir keine Tiere bauen. Wir bauen eher Geister oder Seelen oder wie auch immer man das nennen will. Denn wir trainieren nicht durch Evolution. Wir trainieren, indem wir Menschen nachahmen und die Daten nutzen, die sie ins Internet gestellt haben.

Am Ende entstehen diese geistartigen Wesen. Sie sind vollständig digital und ahmen Menschen nach. Das ist eine andere Art von Intelligenz. Wenn man sich einen Raum möglicher Intelligenzen vorstellt, dann starten wir fast schon an einem anderen Punkt. Wir bauen nicht wirklich Tiere. Aber mit der Zeit ist es möglich, und ich denke auch sinnvoll, sie etwas tierähnlicher zu machen.

Noch etwas dazu: Sutton ist sehr ... sein Framework lautet im Grunde: „Wir wollen Tiere bauen.“ Ich finde, wenn man das zum Funktionieren bringen könnte, wäre das großartig. Es wäre wirklich erstaunlich. Wenn es einen einzelnen Algorithmus gäbe, den man im Internet laufen lassen könnte und der alles lernt, dann wäre das unglaublich. Ich bin mir nur nicht sicher, ob so etwas existiert, und Tiere machen genau das sicher nicht. Tiere haben schließlich die Evolution als äußere Schleife.

Vieles von dem, was wie Lernen aussieht, ist eher Reifung des Gehirns als tatsächliches Lernen. Ich glaube, dass es bei Tieren nur sehr wenig Reinforcement Learning gibt. Das meiste Reinforcement Learning betrifft Dinge wie motorische Aufgaben. Keine intellektuellen Aufgaben. Deshalb glaube ich im Großen und Ganzen, dass Menschen RL nur sehr wenig einsetzen.

Dwarkesh Patel 00:09:52

Könntest du den letzten Satz noch einmal wiederholen? Dass ein großer Teil dieser Intelligenz nicht motorische Aufgaben sind, sondern ... was genau war dein Punkt?

Andrej Karpathy 00:09:54

Aus meiner Sicht betrifft ein großer Teil des Reinforcement Learning eher motorische Dinge, einfache Aufgaben wie einen Ball in einen Basketballkorb zu werfen. Aber ich glaube nicht, dass Menschen für viele intellektuelle Aufgaben wie Problemlösen Reinforcement Learning verwenden. Das heißt nicht, dass man das für Forschung nicht tun sollte, aber ich denke, genau darin liegt der Unterschied zu dem, was Tiere tun oder nicht tun.

Dwarkesh Patel 00:10:17

Ich muss das erst einmal verdauen. Da stecken viele Ideen drin. Ich stelle eine klärende Frage, um die Perspektive besser zu verstehen. Du hast angedeutet, dass Evolution dieselbe Rolle spielt wie Pretraining, in dem Sinne, dass etwas aufgebaut wird, das die Welt verstehen kann.

Der Unterschied ist, dass Evolution beim Menschen über 3 Gigabyte DNA gesteuert werden muss. Das unterscheidet sich stark von den Gewichten eines Modells. Wörtlich gesprochen sind die Modellgewichte das Gehirn, und das ist in Spermium und Eizelle offensichtlich nicht vorhanden. Es muss also wachsen. Außerdem kann die Information über alle Synapsen im Gehirn unmöglich einfach in den 3 Gigabyte enthalten sein, die in der DNA vorliegen.

Evolution scheint eher darauf hinauszulaufen, einen Algorithmus zu finden, der lebenslanges Lernen ermöglicht. Natürlich muss lebenslanges Lernen, wie Sie angemerkt haben, RL nicht unbedingt ähneln. Ist das mit dem vereinbar, was Sie gesagt haben, oder widersprechen Sie dem?

Andrej Karpathy 00:11:17

Ich denke schon. Ich stimme definitiv zu, dass dort eine erstaunliche Kompression stattfindet. Offensichtlich sind die Gewichte neuronaler Netze nicht in ATCG gespeichert. Es gibt eine drastische Kompression. Kodiert sind Lernalgorithmen, die einen Teil des Lernens online übernehmen. In diesem Punkt stimme ich also klar zu. Ich würde aber sagen, dass ich sehr viel pragmatischer denke. Ich gehe nicht mit der Perspektive heran, Tiere erschaffen zu wollen. Ich gehe mit der Perspektive heran, etwas Nützliches zu bauen. Ich trage sozusagen den Schutzhelm und beobachte einfach, dass wir keine Evolution betreiben werden. Wir wissen nämlich nicht, wie das geht.

Aber es hat sich herausgestellt, dass man durch die Nachahmung von Internetdokumenten diese geisterhaften, beseelten Wesen erschaffen kann. Das funktioniert. Es ist eine praktisch machbare Version davon, wie Evolution in gewisser Weise etwas hervorbringt, das mit viel eingebettetem Wissen und Intelligenz ausgestattet ist. Deshalb nenne ich Pretraining diese miserable Form der Evolution. Es ist die praktisch machbare Version mit unserer Technik und mit dem, was uns zur Verfügung steht, und sie bringt uns an einen Ausgangspunkt, von dem aus wir dann Dinge wie Reinforcement Learning machen können.

Dwarkesh Patel 00:12:15

Um einmal die andere Sichtweise zu verteidigen: Nachdem ich dieses Sutton-Interview geführt und darüber nachgedacht habe, glaube ich, dass er hier einen wichtigen Punkt hat. Evolution gibt uns eigentlich kein Wissen. Sie gibt uns einen Algorithmus, mit dem Wissen gefunden werden kann. Und das scheint etwas anderes zu sein als Pretraining.

Vielleicht ist die Sichtweise, dass Pretraining dabei hilft, eine Art Wesen aufzubauen, das besser lernen kann. Es vermittelt Meta-Lernen und ähnelt insofern dem Finden eines Algorithmus. Aber wenn man sagt: "Evolution gibt uns Wissen, Pretraining gibt uns Wissen", dann scheint diese Analogie zusammenzubrechen.

Andrej Karpathy 00:12:42

Das ist subtil, und ich denke, Sie haben recht, das in Frage zu stellen, aber im Grunde macht Pretraining Folgendes: Man nimmt einen Next-Token-Predictor für das Internet und trainiert ihn als neuronales Netz. Dabei passieren zwei voneinander unabhängige Dinge. Erstens eignet er sich all das an, was ich Wissen nennen würde. Zweitens wird er tatsächlich intelligent.

Indem es algorithmische Muster im Internet beobachtet, bootet das neuronale Netz intern all diese kleinen Schaltkreise und Algorithmen hoch, sodass es Dinge wie In-Context-Learning ausführen kann. Das Wissen wird weder gebraucht noch gewünscht. Ich glaube sogar, dass es dem neuronalen Netz insgesamt wahrscheinlich eher im Weg steht. Manchmal führt es nämlich dazu, dass es sich zu stark auf Wissen verlässt.

Zum Beispiel tun sich Agenten mit einer Sache schwer: den Datenmanifold zu verlassen, der im Internet existiert. Wenn sie weniger Wissen oder Erinnerung hätten, wären sie vielleicht sogar besser. Ich glaube, was als Nächstes passieren muss — und das wird Teil des Forschungsparadigmas sein — ist, Wege zu finden, einen Teil des Wissens zu entfernen und das zu erhalten, was ich den cognitive core nenne. Das ist dieses intelligente Wesen, befreit vom Wissen, aber ausgestattet mit der Magie von Algorithmen, Intelligenz und Problemlösung sowie deren Strategien.

Dwarkesh Patel 00:13:50

Da steckt sehr viel Interessantes drin. Fangen wir mit In-Context-Learning an. Das ist ein offensichtlicher Punkt, aber ich denke, es lohnt sich, ihn ausdrücklich auszusprechen und darüber nachzudenken. In den Situationen, in denen diese Modelle am intelligentesten wirken — in den Momenten, in denen ich beim Gespräch mit ihnen denke: "Wow, da ist wirklich etwas auf der anderen Seite, das mir antwortet" — passiert all das, etwa wenn sie bei einem Fehler sagen: "Warte, das war die falsche Denkweise. Gehen wir zurück." Das alles passiert im Kontext. Dort sieht man mit eigenen Augen, wo die echte Intelligenz liegt.

Der Prozess des In-Context-Learnings wird durch Gradient Descent im Pretraining hervorgebracht. Es betreibt gewissermaßen spontan Meta-Lernen über In-Context-Learning, aber In-Context-Learning selbst ist kein Gradient Descent. So ähnlich wie beim Menschen unsere lebenslange Intelligenz, also unsere Fähigkeit, Dinge zu tun, durch Evolution konditioniert wird, unser Lernen im Lauf des Lebens aber durch einen anderen Prozess geschieht.

Andrej Karpathy 00:14:42

Ich stimme nicht vollständig zu, aber führen Sie den Gedanken ruhig weiter aus.

Dwarkesh Patel 00:14:44

Nun, ich möchte verstehen, wie diese Analogie auseinanderfällt.

Andrej Karpathy 00:14:48

Ich zögere zu sagen, dass In-Context-Learning kein Gradient Descent macht. Es macht nur kein explizites Gradient Descent. In-Context-Learning ist Mustervervollständigung innerhalb eines Token-Fensters. Es hat sich nämlich gezeigt, dass es im Internet enorme Mengen an Mustern gibt. Sie haben recht: Das Modell lernt, Muster zu vervollständigen, und das steckt in den Gewichten. Die Gewichte des neuronalen Netzes versuchen, Muster zu entdecken und zu vervollständigen. Es gibt eine Art Anpassung innerhalb des neuronalen Netzes, die magisch ist und einfach aus dem Internet hervorgeht. Weil es dort so viele Muster gibt.

Ich würde sagen, es gibt interessante Arbeiten, die sich den Mechanismus hinter In-Context-Learning anschauen. Ich halte es für möglich, dass In-Context-Learning innerhalb der Schichten eines neuronalen Netzes kleine Gradient-Descent-Schleifen ausführt. An eine Arbeit, die mir besonders im Gedächtnis geblieben ist, erinnere ich mich so: Dort wurde mit In-Context-Learning lineare Regression durchgeführt. Der Input für das neuronale Netz besteht aus XY-Paaren. XY, XY, XY liegen auf einer Linie. Dann gibt man X hinein und erwartet Y. Wenn das neuronale Netz auf diese Weise trainiert wird, führt es lineare Regression aus.

Normalerweise hat man bei linearer Regression einen kleinen Gradient-Descent-Optimierer, der sich XY anschaut, den Fehler betrachtet, den Gradienten der Gewichte berechnet und ein paar Updates macht. Als man sich die Gewichte dieses In-Context-Learning-Algorithmus ansah, stellte sich heraus, dass man gewisse Ähnlichkeiten mit einem Gradient-Descent-Mechanismus fand. Eigentlich war die Arbeit, soweit ich mich erinnere, sogar noch stärker: Man hat die Gewichte des neuronalen Netzes hart kodiert, sodass es über Attention und die gesamte interne Struktur des Netzes hinweg Gradient Descent ausführt.

Das ist mein einziger Einwand. Niemand weiß, wie In-Context-Learning genau funktioniert, aber wahrscheinlich macht es intern irgendeine seltsame Form von Gradient Descent. Ich halte das für möglich. Ich widerspreche also nur Ihrer Aussage, dass es kein In-Context-Learning betreibt. Niemand weiß, was es tut, aber vermutlich macht es etwas Ähnliches. Aber wir wissen es nicht.

Dwarkesh Patel 00:16:39

Wenn also sowohl In-Context-Learning als auch Pretraining beide etwas implementieren, das Gradient Descent ähnelt, warum fühlt es sich dann so an, als würden wir beim In-Context-Learning zu dieser Art von kontinuierlichem Lernen, echter Intelligenz und Ähnlichem gelangen? Während Pretraining allein dieses Gefühl nicht in vergleichbarer Weise hervorruft. So könnte man jedenfalls argumentieren.

Wenn es derselbe Algorithmus ist, was könnte dann unterschiedlich sein? Eine Möglichkeit, darüber nachzudenken, ist, wie viele Informationen das Modell pro Informationseinheit speichert, die es im Training erhält. Beim Pretraining, zum Beispiel bei Llama 3, wurde es, soweit ich weiß, mit 15 Billionen Tokens trainiert. Wenn man sich das 70B-Modell ansieht, entspricht das etwa 0,07 Bit pro Token, das es im Pretraining sieht. Gemessen an den Informationen in den Gewichten des Modells im Verhältnis zu den Tokens, die es liest. Wenn man sich dagegen den KV-Cache ansieht und wie stark dieser im In-Context-Learning pro zusätzlichem Token anwächst, dann sind es ungefähr 320 Kilobyte. Es gibt also einen Unterschied um den Faktor 35 Millionen bei der Menge an Information, die das Modell pro Token aufnimmt. Ich frage mich, ob das relevant ist.

Andrej Karpathy 00:17:46

Dem stimme ich bis zu einem gewissen Grad zu. So drücke ich das im Allgemeinen aus: Alles, was während des Trainings eines neuronalen Netzes passiert, bedeutet, dass das Wissen nur eine schwache Erinnerung an das ist, was zur Trainingszeit passiert ist. Denn die Kompression ist dramatisch. Man nimmt 15 Billionen Tokens und komprimiert sie in ein finales neuronales Netz mit einigen Dutzend Milliarden Parametern. Offensichtlich findet dabei eine enorme Kompression statt. Deshalb nenne ich das eine schwache Erinnerung an Internetdokumente.

Alles, was dagegen im Kontextfenster des neuronalen Netzes passiert — also alle Tokens hineinzustecken und alle KV-Cache-Repräsentationen aufzubauen — darauf kann das neuronale Netz sehr direkt zugreifen. Deshalb vergleiche ich den KV-Cache und das, was zur Testzeit passiert, eher mit dem Arbeitsgedächtnis. Auf alles im Kontextfenster kann das neuronale Netz sehr direkt zugreifen.

Zwischen LLMs und Menschen gibt es immer wieder diese fast erstaunlichen Ähnlichkeiten. Ich finde sie erstaunlich, weil wir ja nicht direkt versuchen, ein menschliches Gehirn zu bauen. Wir haben nur entdeckt, dass das funktioniert, und machen es deshalb. Aber für mich ist alles in den Gewichten eine schwache Erinnerung an das, was man vor einem Jahr gelesen hat. Alles, was man dem Modell zur Testzeit als Kontext gibt, liegt direkt im Arbeitsgedächtnis. Das ist eine sehr starke Metapher, um darüber nachzudenken.

Wenn man zum Beispiel zu einem LLM geht und es zu einem Buch fragt, etwa was darin passiert, zum Beispiel Nick Lanes Buch, dann wird das LLM oft ungefähr richtig antworten. Wenn man ihm aber ein ganzes Kapitel gibt und dann Fragen stellt, bekommt man viel bessere Ergebnisse. Denn dann wurde es in das Arbeitsgedächtnis des Modells geladen. Das ist also die lange Art zu sagen, dass ich zustimme, und warum.

Dwarkesh Patel 00:19:11

Wenn wir einen Schritt zurücktreten: Welchen Teil menschlicher Intelligenz können wir mit solchen Modellen am wenigsten gut replizieren?

Andrej Karpathy 00:19:20

Einfach sehr viele Teile. Eine Art, darüber nachzudenken — ich weiß nicht, ob das die beste ist — ist fast so: Wieder gilt, solche Analogien sind unvollkommen, aber ich habe das Gefühl, dass wir mit Transformer-Netzen eher zufällig etwas entdeckt haben. Das ist extrem mächtig und sehr allgemein. Man kann Transformer für Audio, Video, Text und alles Mögliche trainieren, sie lernen Muster, sind sehr leistungsfähig und funktionieren wirklich gut. Für mich deutet das fast darauf hin, dass das irgendein Teil kortikalen Gewebes ist. So fühlt es sich an. Denn der Kortex ist bekanntermaßen sehr plastisch. Man kann Teile des Gehirns neu verdrahten. Es gab etwas unheimliche Experimente, bei denen der visuelle Kortex mit dem auditiven Kortex neu verbunden wurde, und diese Tiere haben gut gelernt.

Deshalb denke ich, dass das kortikales Gewebe ist. Wenn man innerhalb neuronaler Netze Schlussfolgern und Planen betreibt, wenn man Reasoning-Traces für ein Denkmodell hat, dann ist das vielleicht ein bisschen wie der präfrontale Kortex. Vielleicht sind das kleine Häkchen, aber ich glaube weiterhin, dass es viele unerforschte Hirnareale und Kerne gibt. Zum Beispiel gibt es die Basalganglien, die beim Fine-Tuning von Modellen mit Reinforcement Learning ein bisschen Reinforcement Learning machen. Aber wo ist der Hippocampus? Es ist nicht klar, was das wäre. Manche Teile sind vielleicht auch nicht wichtig. Vielleicht ist das Kleinhirn für Kognition und Denken nicht wichtig, also kann man einige Dinge vielleicht überspringen. Aber ich denke dennoch, dass es zum Beispiel die Amygdala gibt, also all die Emotionen und Instinkte. Wahrscheinlich gibt es noch viele andere, sehr alte Kerne des Gehirns, die wir gar nicht repliziert haben.

Ich glaube nicht, dass wir die Erschaffung eines Analogons zum menschlichen Gehirn anstreben sollten. Im Kern bin ich vor allem Ingenieur. Eine andere Art, die Frage zu beantworten, ist vielleicht: Ich würde das hier nicht als Praktikanten einstellen. Es fehlt immer noch sehr viel. Dazu kommen all die kognitiven Defizite, die wir alle intuitiv spüren, wenn wir mit Modellen sprechen. Also: Es ist noch nicht ganz da. Man kann sagen, dass noch nicht alle Hirnregionen abgehakt sind.

Dwarkesh Patel 00:21:16

Das könnte mit der Frage zusammenhängen, wie schnell diese Probleme gelöst werden. Manchmal sagen Leute über Continual Learning: „Schau, diese Fähigkeit können wir leicht replizieren. So wie In-Context-Learning spontan als Folge des Pretrainings entstanden ist, wird Continual Learning über längere Zeithorizonte spontan entstehen, wenn Modelle einen Anreiz bekommen, Informationen über längere Zeithorizonte hinweg zu behalten, also länger als nur eine einzelne Sitzung.“ Wenn es also in dieser äußeren Schleife ein RL mit vielen Sitzungen gibt, dann würde dieses Continual Learning — also sich selbst feinzujustieren oder in externen Speicher zu schreiben — einfach spontan entstehen. Halten Sie so etwas für plausibel? Ich habe kein Vorwissen dazu, wie plausibel das ist. Wie wahrscheinlich ist das?

Andrej Karpathy 00:22:07

Ich kann mich damit nicht vollständig identifizieren. Wenn diese Modelle booten und null Tokens im Fenster haben, starten sie immer wieder von vorn, genau von dem Punkt aus, an dem sie eben sind. Deshalb weiß ich nicht, wie das in dieser Weltsicht aussehen soll. Wenn man eine gewisse Analogie zum Menschen zieht — die meiner Meinung nach halbwegs konkret und interessant zum Nachdenken ist — dann habe ich, wenn ich wach bin, das Gefühl, ein Kontextfenster aus dem aufzubauen, was im Laufe des Tages passiert. Aber wenn ich schlafe, passiert etwas Magisches, und ich glaube nicht, dass dieses Kontextfenster bestehen bleibt. Es gibt irgendeinen Prozess, der es in die Gewichte des Gehirns destilliert. Das passiert im Schlaf und so weiter.

Bei großen Sprachmodellen gibt es kein Äquivalent dazu. Für mich liegt genau da eher das, was fehlt, wenn wir über Continual Learning sprechen. Diese Modelle haben nicht wirklich einen Destillationsschritt, bei dem sie das Geschehene nehmen, es zwanghaft analysieren, darüber nachdenken, irgendeinen kleinen Prozess zur Erzeugung synthetischer Daten durchführen und das dann wieder in Gewichte destillieren. Und vielleicht hat man auch ein bestimmtes neuronales Netz pro Person. Vielleicht ist es ein LoRA. Nicht das vollständige Netzwerk mit all seinen Gewichten, sondern nur eine kleine spärliche Teilmenge von Gewichten, die sich verändert.

Aber wir wollen Wege finden, solche Individuen mit sehr langem Kontext zu bauen. Es bleibt nicht einfach nur im Kontextfenster, weil dieses Kontextfenster sehr, sehr lang anwächst. Vielleicht haben wir dafür auch sehr ausgefeilte Sparse Attention. Aber ich glaube trotzdem, dass Menschen ganz offensichtlich irgendeinen Prozess haben, der einen Teil dieses Wissens in Gewichte destilliert. Das fehlt uns. Ich glaube auch, dass Menschen ein sehr ausgefeiltes Sparse-Attention-System haben, bei dem wir jetzt erste Hinweise sehen. DeepSeek v3.2 ist gerade erschienen, und ich habe gesehen, dass sie Sparse Attention haben. Das ist zum Beispiel eine Möglichkeit, ein sehr, sehr langes Kontextfenster zu haben. Deshalb habe ich das Gefühl, dass wir viele kognitive Tricks, die die Evolution auf ganz anderem Weg hervorgebracht hat, gerade noch einmal nachbauen. Aber wir werden zu kognitiv ähnlichen Architekturen konvergieren.

Dwarkesh Patel 00:24:02

Glauben Sie, dass es in 10 Jahren immer noch etwas wie Transformer sein wird? Aber mit viel stärker angepasster Attention und spärlicheren MLP und Ähnlichem?

Andrej Karpathy 00:24:10

Ich denke dabei in zeitlicher Translationsinvarianz. Wo standen wir vor 10 Jahren? 2015. 2015 hatten wir hauptsächlich Convolutional Neural Networks, und Residual Networks waren gerade erst erschienen. Erstaunlich ähnlich, aber doch ziemlich anders. Transformer gab es noch nicht. Und auch diese moderneren Anpassungen an Transformern gab es noch nicht. Worauf wir vielleicht wetten können, ist meiner Meinung nach, dass wir in 10 Jahren in diesem Sinn der Translationsäquivalenz immer noch riesige neuronale Netze mit Forward- und Backward-Pass und Updates per Gradientenabstieg trainieren werden. Aber vermutlich wird es etwas anders aussehen, und alles wird sehr viel größer sein.

Neulich bin ich ein paar Jahre zurückgegangen, bis ins Jahr 1989, und das war für mich eine interessante Übung. Ich habe Yann LeCuns Convolutional Network von 1989 nachgebaut. Soweit ich weiß, war das das erste neuronale Netz, das mit Gradientenabstieg trainiert wurde. Ein modernes neuronales Netz zur Ziffernerkennung, trainiert mit Gradientenabstieg. Mich hat interessiert, wie man das modernisieren kann. Wie viel davon ist Algorithmik? Wie viel davon sind Daten? Wie viel dieses Fortschritts steckt in Compute und Systemen? Mit einer Zeitreise von 33 Jahren konnte ich den Fehler ziemlich schnell halbieren.

Wenn man also algorithmisch 33 Jahre in die Zukunft springt, konnte ich das, was Yann LeCun 1989 gemacht hat, anpassen und den Fehler halbieren. Aber um größere Gewinne zu erzielen, musste ich viel mehr Daten hinzufügen, den Trainingssatz verzehnfachen und mehr Optimierungen für die Rechenleistung ergänzen. Ich musste mit Dropout und anderen Regularisierungstechniken viel länger trainieren.

All diese Dinge müssen sich also gleichzeitig verbessern. Wir werden vermutlich viel mehr Daten haben, deutlich bessere Hardware, wesentlich bessere Kernel und Software, um die Hardware zu betreiben und das Maximum aus ihr herauszuholen, und bessere Algorithmen. Keiner dieser Faktoren scheint für sich allein besonders stark zu dominieren. Sie sind alle erstaunlich gleichwertig. Das ist schon seit einer Weile der Trend.

Um die Frage zu beantworten: Ich erwarte, dass es algorithmisch anders sein wird als das, was heute passiert. Aber ich erwarte auch, dass einige der Dinge, die schon sehr lange Bestand haben, wahrscheinlich immer noch da sein werden. Vermutlich sind es immer noch riesige neuronale Netze, die mit Gradientenabstieg trainiert werden. Das ist meine Vermutung.

Dwarkesh Patel 00:26:16

Es ist erstaunlich, dass all das zusammengenommen den Fehler nur halbiert hat, 30 Jahre Fortschritt ... halbiert ist vielleicht viel. Denn wenn man den Fehler halbiert, dann ist das tatsächlich ...

Andrej Karpathy 00:26:30

Halbieren ist viel. Aber was mich schockiert hat, war, dass sich alles insgesamt verbessern musste: Architektur, Optimierer, Loss-Funktion. Und außerdem haben sich all diese Dinge durchgängig immer weiter verbessert. Deshalb erwarte ich, dass all diese Veränderungen lebendig und intakt bleiben werden.

Dwarkesh Patel 00:26:43

Ja. Ich wollte eine sehr ähnliche Frage zu nanochat stellen. Da Sie das vor Kurzem programmiert haben, ist jeder Schritt beim Bau eines Chatbots noch frisch in Ihrem RAM. Ich frage mich, ob Sie beim Übergang von GPT-2 zu nanochat einen ähnlichen Gedanken hatten wie: „Oh, nichts davon war irrelevant.“ Was war die überraschendste Lehre aus dieser Erfahrung?

Andrej Karpathy 00:27:08

Zum Bau von nanochat? nanochat ist ein Repository, das ich veröffentlicht habe. War es gestern oder vorgestern? Ich weiß es nicht mehr.

Dwarkesh Patel 00:27:15

Man kann wohl sehen, was Schlafmangel anrichtet ...

Andrej Karpathy 00:27:18

Es soll das einfachste und vollständigste Repository sein, das die komplette Pipeline zum Bau eines ChatGPT-Klons von Anfang bis Ende abdeckt. Es enthält also nicht nur einzelne Schritte, sondern alle Schritte, und davon gibt es ziemlich viele. Ich habe in der Vergangenheit an allen einzelnen Schritten gearbeitet und kleine Codeschnipsel veröffentlicht, die im algorithmischen Sinn zeigen, wie man das mit einfachem Code macht. Aber dieses hier deckt die komplette Pipeline ab. Was den Lerneffekt angeht, bin ich nicht sicher, ob ich daraus zwangsläufig etwas Neues gelernt habe. Ich hatte im Kopf bereits, wie man es baut. Das war eher ein mechanischer Prozess des Bauens und des Aufräumens, damit es sauber genug ist, dass Menschen daran lernen und es nützlich finden können.

Dwarkesh Patel 00:28:04

Wie lernt man Ihrer Meinung nach am besten daraus? Sollte man den ganzen Code löschen und versuchen, alles von Grund auf neu zu implementieren, oder sollte man versuchen, Änderungen hinzuzufügen?

Andrej Karpathy 00:28:10

Gute Frage. Im Grunde sind es etwa 8.000 Zeilen Code, die die komplette Pipeline von Anfang bis Ende durchlaufen. Ich würde das wahrscheinlich auf den rechten Monitor legen. Wenn man zwei Monitore hat, dann auf den rechten. Wenn man es von Grund auf bauen will, dann fängt man von Grund auf an. Copy-and-paste ist nicht erlaubt, Referenzen sind erlaubt, aber Copy-and-paste ist nicht erlaubt. So würde ich es wahrscheinlich machen.

Ich denke aber auch, dass das Repository selbst ein ziemlich großes Monster ist. Als ich diesen Code geschrieben habe, bin ich nicht von oben nach unten vorgegangen, sondern in Blöcken, und ich habe diese Blöcke wachsen lassen, und diese Information fehlt. Man wüsste nicht, wo man anfangen soll. Man braucht also nicht nur das fertige Repository, sondern eigentlich auch den Prozess, wie das Repository entsteht, und das ist ein komplexer Vorgang des Wachsens in Blöcken. Dieser Teil fehlt also noch. Ich würde ihn gern später in dieser Woche ergänzen. Vielleicht wird es ein Video oder so etwas. Grob gesagt ist das, was ich vorhabe: Bauen Sie es selbst, aber erlauben Sie sich kein Copy-and-paste.

Ich denke fast, dass es zwei Arten von Wissen gibt. Es gibt oberflächliches Wissen auf hoher Ebene, aber wenn man etwas von Grund auf selbst baut, stößt man auf Dinge, die man nicht versteht, und auf Dinge, bei denen man nicht einmal wusste, dass man sie nicht versteht.

Das führt immer zu einem tieferen Verständnis. Das ist der einzige Weg. Wenn man es nicht bauen kann, versteht man es nicht. Ich glaube, das ist ein Zitat von Feynman. Daran habe ich immer sehr stark geglaubt. Es gibt all diese feinen kleinen Dinge, die nicht richtig angeordnet sind, und in Wirklichkeit besitzt man das Wissen nicht. Man denkt nur, dass man es besitzt. Schreiben Sie also keine Blogposts, machen Sie keine Slides, machen Sie solche Dinge nicht. Schreiben Sie Code, ordnen Sie die Dinge an, bringen Sie es zum Laufen. Das ist der einzige Weg. Sonst fehlt Ihnen Wissen.

00:29:45 – Kognitive Beeinträchtigung von LLMs

Dwarkesh Patel 00:29:45

Sie haben getwittert, dass Coding-Modelle beim Zusammensetzen dieses Repositorys fast nicht geholfen haben. Ich frage mich, warum das so war.

Andrej Karpathy 00:29:53

Ich würde sagen, dass ich das Repository über etwas mehr als einen Monat hinweg gebaut habe. Und ich würde sagen, dass es derzeit drei große Klassen gibt, wie Menschen mit Code interagieren. Manche lehnen LLMs vollständig ab und schreiben einfach alles von Grund auf selbst. Das ist wahrscheinlich nicht mehr der richtige Weg.

Der mittlere Bereich ist dort, wo ich mich befinde: Ich schreibe zwar immer noch vieles von Grund auf selbst, aber ich nutze jetzt brauchbare Autovervollständigung dieser Modelle. Ich fange an, kleine Stücke zu schreiben, sie vervollständigen sie automatisch, und ich kann mit Tab weiterspringen. Meistens ist es richtig, manchmal falsch, und dann editiere ich. Aber du bist immer noch der Architekt dessen, was du schreibst. Dann gibt es Vibe Coding: „Hey, implementiere dies oder das“, Enter, und dann lässt man das Modell machen. Das ist der Agent.

Ich habe das Gefühl, dass Agenten in sehr spezifischen Setups funktionieren und in bestimmten Setups eingesetzt werden. Aber all das sind nutzbare Werkzeuge, und man muss lernen, worin sie gut sind, worin sie nicht gut sind und wann man sie einsetzen sollte. Agenten sind zum Beispiel ziemlich gut bei Boilerplate-Arbeit. Einfach Boilerplate-Code zum Kopieren und Einfügen, solche Dinge können sie sehr gut. Sie sind sehr gut bei Dingen, die im Internet sehr häufig vorkommen. Denn in den Trainingsdaten dieser Modelle gibt es dafür viele Beispiele. Es gibt bestimmte Merkmale von Dingen, die die Modelle sehr gut können.

Ich würde sagen, nanochat ist kein solches Beispiel. Denn das ist ein ziemlich einzigartiges Repository. Es gibt nicht viel Code, der so strukturiert ist, wie ich ihn strukturiert habe. Es ist kein Boilerplate-Code. Es ist intellektuell anspruchsvoller Code, und alles muss sehr präzise angeordnet sein. Die Modelle haben zu viele kognitive Defizite. Ein Beispiel ist, dass sie den Code ständig missverstanden haben, weil sie zu viele Erinnerungen an all die üblichen Internet-Methoden hatten, die ich nicht übernommen habe. Die Modelle dachten zum Beispiel — ich weiß nicht, ob ich in alle Details gehen soll — immer wieder, ich würde gewöhnlichen Code schreiben, aber das tat ich nicht.

Dwarkesh Patel 00:31:49

Vielleicht ein Beispiel?

Andrej Karpathy 00:31:51

Ich habe acht GPUs, und alle führen Forward- und Backward-Pass aus. Eine Möglichkeit, die Gradienten zwischen ihnen zu synchronisieren, ist, den Distributed Data Parallel-Container von PyTorch zu verwenden, der während des Backward-Pass automatisch die Kommunikation startet und die Gradienten synchronisiert. Ich habe DDP nicht verwendet. Weil ich es nicht verwenden wollte. Ich brauche es nicht. Ich habe es weggelassen und meine eigene Synchronisierungsroutine innerhalb des Optimizer-Schritts geschrieben. Die Modelle wollten mich dazu bringen, den DDP-Container zu verwenden. Sie waren sehr besorgt. Das wird jetzt sehr technisch, aber ich habe diesen Container nicht verwendet, weil ich ihn nicht brauche und eine maßgeschneiderte Implementierung von etwas Ähnlichem habe.

Dwarkesh Patel 00:32:26

Sie konnten also nicht verinnerlichen, dass du dein eigenes Ding hast.

Andrej Karpathy 00:32:28

Darüber kamen sie nicht hinweg. Sie haben ständig versucht, den Stil kaputtzumachen. Sie sind viel zu defensiv. Sie erzeugen alle möglichen try-catch-Anweisungen. Sie versuchen ständig, eine Production-Codebasis zu bauen, aber mein Code hat viele Annahmen eingebaut, und das ist in Ordnung. Ich brauche all diese zusätzlichen Dinge dort nicht. Deshalb habe ich das Gefühl, dass sie die Codebasis aufblasen, die Komplexität aufblasen, ständig missverstehen und APIs verwenden, die seit mehreren Benutzungen veraltet sind. Es ist ein totales Durcheinander. Einfach netto nicht nützlich. Man kann hineingehen und aufräumen, aber netto ist es nicht nützlich.

Außerdem finde ich es lästig, auf Englisch tippen zu müssen, was ich will. Das ist einfach zu viel Tipparbeit. Wenn ich zu dem Teil des Codes gehe, den ich möchte, an die Stelle gehe, an der der Code erscheinen soll, und anfange, die ersten paar Buchstaben einzugeben, dann versteht die Autovervollständigung das und gibt mir den Code. Das ist eine sehr hohe Informationsbandbreite, um anzugeben, was man will. Man zeigt auf den gewünschten Code, tippt die ersten paar Fragmente ein, und das Modell vervollständigt ihn.

Ich meine, diese Modelle sind in bestimmten Teilen des Stacks gut. Ich habe zwei Beispiele, bei denen ich das Modell verwendet habe, und ich finde sie exemplarisch. Eines war, als ich einen Bericht erstellt habe. Das war stärker Boilerplate, daher habe ich Teile davon teilweise per Vibe Coding gemacht. Das war okay, weil es nicht missionskritisch war, und es funktioniert gut.

Der andere Teil war, als ich den Tokenizer in Rust neu geschrieben habe. Ich bin nicht besonders gut in Rust. Rust ist für mich noch ziemlich neu. Deshalb gab es beim Schreiben des Rust-Codes ein bisschen Vibe Coding. Aber ich hatte eine Python-Implementierung, die ich vollständig verstanden habe, und ich habe darauf geachtet, dass ich eine effizientere Version baue, und ich hatte Tests, daher fühlte es sich sicherer an, so etwas zu machen. Sie erhöhen die Zugänglichkeit zu Sprachen oder Paradigmen, mit denen man möglicherweise nicht vertraut ist. Auch dort finde ich sie sehr nützlich. Es gibt viel Rust-Code, und die Modelle sind darin ziemlich gut. Ich weiß darüber nicht viel, deshalb sind die Modelle dort sehr nützlich für mich.

Dwarkesh Patel 00:34:23

Einer der Gründe, warum diese Frage so interessant ist, ist, dass die zentrale Story darüber, wie Menschen sehr schnell bei einer AI-Explosion und Superintelligenz ankommen, darin besteht, dass AI AI-Engineering und AI-Forschung automatisiert. Sie sehen, dass sie Claude Code haben und komplette Anwendungen, CRUD-Anwendungen, von Grund auf bauen können, und denken dann: „Wenn man dieselbe Fähigkeit intern bei OpenAI und DeepMind hätte, stell dir tausend Versionen von dir oder eine Million Versionen von dir vor, die parallel nach kleinen Architektur-Tweaks suchen.“

Es ist sehr interessant, dich sagen zu hören, dass genau das der Bereich ist, in dem sie asymmetrisch schlechter sind. Das ist ziemlich relevant dafür, einzuschätzen, ob eine AI-2027-artige Explosion bald wahrscheinlich ist.

Andrej Karpathy 00:35:05

Das ist eine gute Art, es auszudrücken, und ich verstehe, warum mein Zeitplan etwas länger ist. Du hast recht. Bei Code, der vorher noch nie geschrieben wurde, sind sie nicht besonders gut. Das wäre vielleicht eine Art, es auszudrücken, und das ist es, was wir beim Bau dieser Modelle erreichen wollen.

Dwarkesh Patel 00:35:19

Eine sehr naive Frage, aber die Architektur-Tweaks, die du zu nanochat hinzufügst, stehen doch irgendwo in einem Paper, oder? Vielleicht sogar in irgendeinem Repository. Wenn man sagt: „Füge RoPE-Embeddings hinzu“, ist es dann nicht überraschend, dass sie das auf die falsche Weise machen?

Andrej Karpathy 00:35:42

Es ist schwierig. Sie wissen es, aber sie wissen es nicht vollständig. Sie wissen nicht, wie sie es vollständig mit dem Repository und deinem Stil und deinem Code und deinem Kontext integrieren sollen, mit einigen der Anpassungen, die du vornimmst, und wie das mit all den Annahmen des Repositorys zusammenpasst. Sie haben ein bisschen Wissen, aber sie sind noch nicht an dem Punkt, an dem sie es integrieren und verstehen können.

Vieles verbessert sich ständig weiter. Das derzeit modernste Modell, das ich benutze, ist GPT-5 Pro, und das ist ein sehr starkes Modell. Wenn ich 20 Minuten Zeit habe, kopiere ich das gesamte Repository hinein, gehe zu GPT-5 Pro, zum Orakel, und stelle ein paar Fragen. Oft ist das gar nicht so schlecht und im Vergleich zu dem, was es vor einem Jahr gab, erstaunlich gut.

Insgesamt sind die Modelle noch nicht so weit. Ich habe das Gefühl, dass die Branche einen viel zu großen Sprung macht und so tut, als wäre das alles unglaublich, aber das ist es nicht. Es ist Slop. Sie stellen sich dem nicht, und vielleicht wollen sie Kapital aufnehmen oder so etwas. Ich weiß nicht, was da vor sich geht, aber wir befinden uns in dieser Zwischenphase. Die Modelle sind erstaunlich. Es braucht aber immer noch viel Arbeit. Im Moment ist Autovervollständigung mein Sweet Spot. Aber manchmal, bei bestimmten Code-Typen, gehe ich zu einem LLM-Agenten.

Dwarkesh Patel 00:36:53

Es gibt noch einen weiteren Grund, warum das wirklich interessant ist. Im Lauf der Geschichte des Programmierens gab es viele Produktivitätssteigerungen — Compiler, Linting, bessere Programmiersprachen — die die Produktivität von Programmierern erhöht haben, aber nicht zu einer Explosion geführt haben. Das klingt sehr nach Tab-Autovervollständigung, und diese andere Kategorie ist einfach nur Automatisierung des Programmierers. Es ist interessant, dass du es eher in die Kategorie historischer Analogien wie bessere Compiler oder solche Dinge einordnest.

Andrej Karpathy 00:37:26

Vielleicht führt das noch zu einem weiteren Gedanken. Mir fällt es schwer zu unterscheiden, wo AI anfängt und aufhört. Denn ich sehe AI im Grunde als eine ziemlich grundlegende Erweiterung des Computings. Für mich ist das ein Kontinuum. Ein Kontinuum der rekursiven Selbstverbesserung oder der Beschleunigung von Programmierern, angefangen bei Code-Editoren, Syntax-Highlighting oder Typprüfung, also Datentypprüfung — all diese Werkzeuge, die wir füreinander gebaut haben.

Sogar Suchmaschinen. Warum sollten Suchmaschinen kein Teil von AI sein? Ranking ist AI. Irgendwann hat Google sich selbst, schon sehr früh, als AI-Unternehmen betrachtet, das eine Google-Suchmaschine baut. Das ist völlig legitim.

Ich sehe das viel stärker als Kontinuum als andere Leute. Für mich ist es schwer, eine Grenze zu ziehen. Jetzt haben wir sehr viel bessere Autovervollständigung, und jetzt bekommen wir auch einige Agenten, also solche iterativen Dinge, die aber manchmal vom Kurs abkommen. Was passiert, ist, dass Menschen nach und nach ein bisschen weniger von den Low-Level-Dingen tun. Wir schreiben keinen Assembler-Code, weil es Compiler gibt. Compiler nehmen die Hochsprache C und schreiben Assembler-Code.

Wir abstrahieren uns selbst sehr, sehr langsam. Ich nenne das den „Autonomie-Slider“: Immer mehr Dinge werden automatisiert — unter den Dingen, die sich irgendwann automatisieren lassen — und wir machen nach und nach etwas weniger selbst und heben uns auf eine Abstraktionsebene über der Automatisierung.

00:40:05 – RL ist schrecklich

Dwarkesh Patel 00:40:05

Lass uns ein wenig über RL sprechen. Du hast dazu sehr interessante Dinge getwittert. Wie sollten wir konzeptionell darüber nachdenken, dass Menschen allein durch Interaktion mit der Umgebung reichhaltige Weltmodelle aufbauen können? Und zwar auf eine Weise, die fast nichts mit der endgültigen Belohnung am Ende einer Episode zu tun zu haben scheint?

Wenn jemand ein Unternehmen gründet und zehn Jahre später erfährt, ob das Unternehmen erfolgreich war oder gescheitert ist, sagen wir, dass sie viel Weisheit und Erfahrung gewonnen hat. Aber das liegt nicht daran, dass die Log-Wahrscheinlichkeit jedes einzelnen Ereignisses in den vergangenen zehn Jahren nach oben oder unten gewichtet wurde. Da passiert etwas sehr viel Intentionaleres und Reichhaltigeres. Was ist die ML-Analogie dazu, und wie verhält sich das im Vergleich zu dem, was wir derzeit mit LLMs machen?

Andrej Karpathy 00:40:47

Wahrscheinlich würde ich es so ausdrücken: Menschen verwenden kein Reinforcement Learning. Wie gesagt. Ich glaube, sie machen etwas anderes. Reinforcement Learning ist viel schlechter, als der Durchschnittsmensch denkt. Reinforcement Learning ist schrecklich. Es ist nur deshalb dazu gekommen, weil alles, was man davor hatte, noch viel schlechter war. Denn vorher hat man einfach nur Menschen imitiert, und deshalb gab es all diese Probleme.

Nehmen wir an, du löst in Reinforcement Learning ein Mathematikproblem. Das ist sehr einfach als Beispiel. Du bekommst ein Mathematikproblem und versuchst, eine Lösung zu finden. In Reinforcement Learning würdest du zuerst viele Dinge parallel ausprobieren. Du bekommst das Problem und machst Hunderte verschiedene Versuche. Diese Versuche können komplex sein. Es kann heißen: „Probieren wir das, probieren wir jenes, das hat nicht funktioniert, jenes hat nicht funktioniert“ und so weiter. Dann bekommst du vielleicht eine Antwort. Jetzt schaust du hinten im Buch nach und siehst: „Okay, das ist die richtige Antwort.“ Du kannst sehen, dass dieses, dieses und jenes zur richtigen Antwort geführt haben, aber diese anderen 97 nicht. Was Reinforcement Learning buchstäblich macht, ist, zu den Dingen zu gehen, die wirklich gut funktioniert haben, und dann jede einzelne Sache, jedes einzelne Token, das im Prozess passiert ist, nach oben zu gewichten, nach dem Motto: „Mach mehr davon.“

Das Problem dabei ist — die Leute würden sagen, dein Schätzer hat eine hohe Varianz — aber es ist einfach Rauschen. Es ist Rauschen. Es nimmt an, dass jedes kleine Teilstück einer Lösung, die fast zur richtigen Antwort gelangt ist, das Richtige gewesen sein muss, und das stimmt nicht. Vielleicht bist du in Sackgassen gelaufen, bis du schließlich die richtige Antwort erreicht hast. Solange du die richtige Antwort bekommst, werden alle einzelnen falschen Dinge, die du gemacht hast, mit „Mach mehr davon“ nach oben gewichtet. Das ist schrecklich. Es ist Rauschen.

Du hast diese ganze Arbeit gemacht und bekommst am Ende eine einzige Zahl: „Oh, das war richtig.“ Auf dieser Basis gewichtest du dann die gesamte Trajektorie nach oben oder unten. Meine Lieblingsformulierung dafür ist, dass man Supervision durch einen Strohhalm einsaugt. Du hast all diese Arbeit gemacht, die ein einminütiger Rollout sein kann, und du saugst die Supervisions-Bits des finalen Belohnungssignals durch einen Strohhalm ein, sendest sie über die gesamte Trajektorie und benutzt sie dann, um die Trajektorie hoch- oder runterzugewichten. Das ist einfach dumm und verrückt.

Menschen würden das niemals so machen. Erstens würden Menschen niemals Hunderte von Rollouts machen. Zweitens hätte ein Mensch, wenn er eine Lösung gefunden hat, einen ziemlich komplexen Review-Prozess, etwa: „Okay, diese Teile waren gut, diese Teile waren nicht so gut. Vielleicht hätte ich dies oder das tun sollen.“ Menschen denken über Dinge nach. In aktuellen LLMs gibt es nichts davon. Nichts Entsprechendes. Aber ich sehe, dass Papers auftauchen. Es erscheinen Papers, die versuchen, genau das zu tun. Denn das ist für alle in diesem Feld offensichtlich.

Das erste Imitation Learning war übrigens extrem erstaunlich, geradezu wundersam und verblüffend. Dass man durch Imitation von Menschen feinjustieren kann. Das war erstaunlich. Denn am Anfang hatten wir nur das Base Model. Das Base Model ist Autovervollständigung. Damals war mir nicht klar, und ich musste das erst lernen, dass das Paper, das mich umgehauen hat, InstructGPT war. Denn es hat darauf hingewiesen, dass man ein vortrainiertes Modell — also Autovervollständigung — nehmen und auf Text feinjustieren kann, der wie Konversation aussieht, und dass sich das Modell sehr schnell anpasst, sehr konversationell wird und zugleich all das Wissen aus dem Pretraining behält. Das hat mich umgehauen. Denn stilistisch hatte ich nicht verstanden, dass man sich so schnell anpassen und allein durch ein paar Fine-Tuning-Schleifen auf dieser Art von Daten zu einem Assistenten für den Nutzer werden kann. Dass das funktioniert, war für mich fast wundersam. Es war unglaublich. Das waren zwei bis drei Jahre Arbeit.

Dann kam RL. Und RL macht es möglich, ein bisschen besser zu werden als mit bloßem Imitation Learning. Denn man kann eine Reward Function haben und an dieser Reward Function Hill Climbing betreiben. Bei manchen Problemen gibt es einfach eine richtige Antwort, und man kann daran Hill Climbing betreiben, ohne Experten-Trajektorien imitieren zu müssen. Das ist also erstaunlich. Das Modell kann außerdem Lösungen entdecken, auf die Menschen vielleicht nie gekommen wären. Das ist erstaunlich. Aber es ist immer noch dumm.

Wir brauchen mehr. Ich habe gestern ein Paper von Google gesehen, das versucht hat, diese Idee von Reflexion & Review im Hinterkopf zu behalten. War das das Memory-Bank-Paper? Ich weiß es nicht. Ich habe ein paar Papers in diese Richtung gesehen. Deshalb erwarte ich, dass die großen algorithmischen Updates für LLMs aus genau diesem Bereich kommen werden. Ich denke, wir brauchen noch drei oder vier oder fünf solcher Dinge.

Dwarkesh Patel 00:44:54

Du bist wirklich gut darin, einprägsame Formulierungen zu prägen. „Supervision durch einen Strohhalm einsaugen“ gefällt mir sehr.

Du sagst also, das Problem bei ergebnisbasierten Belohnungen ist, dass man diese riesige Trajektorie hat und aus diesem einen finalen Bit am Ende lernen will, was zu tun ist und alles Mögliche über die Welt. Wenn das so offensichtlich ist, warum ist dann prozessbasierte Supervision als Alternative keine erfolgreiche Methode geworden, um Modelle leistungsfähiger zu machen? Was hindert daran, dieses alternative Paradigma zu verwenden?

Andrej Karpathy 00:45:29

Prozessbasierte Aufsicht bedeutet einfach, dass wir nicht nur ganz am Ende eine Belohnungsfunktion haben werden. Nach 10 Minuten Arbeit werden wir nicht einfach sagen, ob etwas gut oder schlecht war. Wir werden bei jedem Schritt sagen, wie gut man vorankommt. Der Grund, warum wir das noch nicht haben, ist, dass es knifflig ist, das richtig zu machen. Es gibt Teilantworten, und wir wissen nicht, wie man Credit korrekt zuweist. Wenn man die richtige Antwort erhält, ist das einfach ein Gleichheitsabgleich mit der Antwort. Das ist sehr einfach zu implementieren. Aber wenn man Prozessaufsicht betreibt: Wie weist man auf automatisierbare Weise Teil-Credit zu? Das ist nicht klar.

Viele Labs versuchen das mit solchen LLM-Richtern. Das LLM soll das übernehmen. Man gibt dem LLM einen Prompt: „Schau dir die Teilantwort des Schülers an. Wenn die Antwort dies hier ist, wie gut, glaubst du, ist er unterwegs?“ Und dann versuchen sie, die Prompts zu optimieren.

Warum das schwierig ist, ist ziemlich subtil. Jedes Mal, wenn man ein LLM verwendet, um Belohnungen zuzuweisen, sind diese LLMs riesige Gebilde mit Milliarden von Parametern, und sie lassen sich austricksen. Wenn man Reinforcement Learning dagegen laufen lässt, wird man mit ziemlicher Sicherheit adversariale Beispiele gegen diese LLM-Richter finden. Deshalb kann man das nicht sehr lange machen. Vielleicht funktionieren 10 oder 20 Schritte noch, aber 100 oder 1.000 gehen nicht. Ich verstehe, dass das nicht offensichtlich ist, aber im Grunde wird das Modell kleine Risse finden. Es wird all diese falschen Dinge in den Ecken eines riesigen Modells aufspüren und einen Weg finden, es zu täuschen.

Ein Beispiel, das mir besonders im Kopf geblieben ist: Ich glaube, das war vielleicht öffentlich. Wenn man einen LLM-Richter für Belohnungen benutzt, gibt man ihm die Lösung eines Schülers und fragt, ob der Schüler es gut gemacht hat oder nicht. Wir haben mit Reinforcement Learning auf dieser Belohnungsfunktion trainiert, und es hat wirklich gut funktioniert. Dann ist die Belohnung plötzlich extrem stark angestiegen. Es war ein riesiger Sprung, und es war perfekt. Man schaut darauf und denkt: „Wow, das muss bedeuten, dass der Schüler bei all diesen Problemen perfekt ist. Er hat Mathematik komplett gelöst.“

Aber wenn man sich die Vervollständigungen ansieht, die man vom Modell bekommt, sind sie kompletter Unsinn. Es fängt ganz okay an, und dann wird es zu „dhdhdhdh“. Einfach: „Okay, gut, nimm 2 plus 3 und mach dies und das, und dann dhdhdhdh.“ Wenn man das sieht, denkt man: Das ist verrückt. Wie bekommt das 1 oder 100 % Belohnung? Und wenn man sich den LLM-Richter ansieht, stellt sich heraus, dass „dhdhdhdh“ ein adversariales Beispiel für das Modell ist, und es weist ihm eine Wahrscheinlichkeit von 100 % zu.

Das liegt einfach daran, dass das ein Out-of-Sample-Beispiel für das LLM ist. Es hat so etwas im Training nie gesehen und befindet sich in einem reinen Generalisierungsbereich. Es hat das im Training nie gesehen, und in diesem reinen Generalisierungsbereich kann man solche Beispiele finden, die es kaputtmachen.

Dwarkesh Patel 00:47:52

Im Grunde trainiert man das LLM also dazu, ein Modell für Prompt Injection zu werden.

Andrej Karpathy 00:47:56

Nicht einmal das. Prompt Injection ist schon zu fancy. Man sucht nach adversarialen Beispielen, wie sie genannt werden. Das sind offensichtlich falsche, unsinnige Antworten, aber das Modell hält sie für großartig.

Dwarkesh Patel 00:48:07

Soweit das der Engpass ist, RL leistungsfähiger zu machen, müsste man dann nicht das LLM zu einem besseren Richter machen, wenn man das auf automatisierte Weise tun will? Müsste man so etwas wie einen GAN-Ansatz verwenden, um das Modell robuster zu machen?

Andrej Karpathy 00:48:22

Die Labs machen wahrscheinlich all das. Offensichtlich sollte „dhdhdhdh“ keine 100 % Belohnung bekommen. Okay, man nimmt „dhdhdhdh“, packt es in das Trainingsset des LLM-Richters und sagt: Das sind keine 100 %, sondern 0 %. Das kann man machen. Aber jedes Mal, wenn man das tut, bekommt man ein neues LLM und hat immer noch adversariale Beispiele. Es gibt unendlich viele adversariale Beispiele.

Vielleicht wird es nach ein paar Wiederholungen immer schwieriger, adversariale Beispiele zu finden. Aber ich bin mir da nicht zu 100 % sicher. Denn das Ding hat eine Billion Parameter oder so etwas. Ich wette, die Labs probieren das aus. Ich glaube trotzdem, dass wir noch andere Ideen brauchen.

Dwarkesh Patel 00:48:57

Interessant. Haben Sie eine Vorstellung davon, wie solche anderen Ideen aussehen könnten?

Andrej Karpathy 00:49:02

Es gibt diese Idee, Lösungen zu überprüfen und synthetische Beispiele einzubeziehen, sodass man beim Training darauf besser wird und in gewisser Weise Meta-Learning betreibt. Ich glaube, es gibt ein paar Papers, die damit anfangen. Ich bin im Moment noch in der Phase, in der ich nur die Abstracts lese. Denn viele dieser Papers sind einfach nur Ideen. Irgendjemand muss das auf Frontier-LLM-Lab-Größe mit voller Allgemeinheit zum Laufen bringen. Denn wenn ich mir diese Papers ansehe, tauchen sie auf und sind ein bisschen verrauscht. Es sind coole Ideen, aber ich habe noch niemanden gesehen, der überzeugend gezeigt hätte, dass das möglich ist. Gleichzeitig sind LLM-Labs ziemlich verschlossen, also weiß niemand, was sie gerade tun.

00:49:38 – Wie lernen Menschen?

Dwarkesh Patel 00:49:38

Ich kann mir vorstellen, wie man auf synthetischen Beispielen oder auf selbst erzeugten synthetischen Problemen trainieren könnte. Aber es scheint noch etwas anderes zu geben, das Menschen tun — vielleicht ist Schlaf das, vielleicht Tagträumen — nämlich nicht unbedingt falsche Probleme zu erzeugen, sondern einfach zu reflektieren.

Ich bin mir nicht sicher, was die ML-Analogie zu Tagträumen, Schlaf oder bloßer Reflexion wäre. Ich habe kein neues Problem erzeugt. Offensichtlich wäre eine sehr grundlegende Analogie, auf dem Reflexions-Bit feinzujustieren, aber ich habe das Gefühl, dass das in der Praxis wahrscheinlich nicht so gut funktionieren würde. Haben Sie eine Idee, was die Analogie dazu sein könnte?

Andrej Karpathy 00:50:17

Ich denke, dass uns dort einige Aspekte entgehen. Schauen Sie sich zum Beispiel das Lesen eines Buches an. Wenn ein aktuelles LLM ein Buch liest, bedeutet das, dass es eine Textsequenz ausrollt, das Modell das nächste Token vorhersagt und daraus etwas Wissen gewinnt. Aber das ist eigentlich nicht das, was Menschen tun. Wenn man ein Buch liest, fühlt es sich nicht so an, als wäre das Buch eine Erklärung, der man Aufmerksamkeit schenken und auf der man trainieren müsste. Das Buch ist eher eine Menge von Prompts für die Erzeugung synthetischer Daten oder etwas, worüber man in einem Buchclub mit Freunden spricht. Indem man diese Information bearbeitet, eignet man sich das Wissen tatsächlich an. Ein Äquivalent dazu gibt es bei LLMs nicht. Sie tun das eigentlich nicht. Ich würde mir wünschen, dass es während des Pretrainings irgendeine Phase gäbe, in der sie über das Material nachdenken, versuchen, es mit dem abzugleichen, was sie bereits wissen, eine Zeit lang darüber nachdenken und es verarbeiten. Dafür gibt es kein Äquivalent. Das ist alles noch Forschung.

Es gibt sehr subtile Gründe — die meiner Meinung nach sehr schwer zu verstehen sind —, warum das nicht trivial ist. Wenn ich einen erklären darf: Warum können wir nicht einfach synthetisch generieren und darauf trainieren? Wenn man dem Modell eine synthetische Generation gibt, in der es über ein Buch nachdenkt, schaut man darauf und denkt: „Das sieht großartig aus. Warum können wir nicht darauf trainieren?“ Man kann es versuchen, aber wenn man das weiter versucht, wird das Modell sehr viel schlechter. Denn alle Samples, die man aus dem Modell bekommt, kollabieren stillschweigend. Still — wenn man einzelne Beispiele betrachtet, ist das nicht offensichtlich — nehmen sie nur eine sehr kleine Mannigfaltigkeit des Raums möglicher Gedanken ein. Wenn LLMs herauskommen, sind sie das, was wir „kollabiert“ nennen. Sie haben eine kollabierte Datenverteilung. Ein einfacher Weg, das zu sehen, ist: Geh zu ChatGPT und frag: „Erzähl mir einen Witz.“ Es kennt nur drei Witze. Es gibt einem nicht die ganze Bandbreite möglicher Witze. Es kennt drei Witze. Sie sind stillschweigend kollabiert.

Diese Modelle liefern uns nicht den Reichtum, die Vielfalt und die Entropie, die wir von Menschen bekommen. Menschen sind viel verrauschter, aber zumindest nicht verzerrt, statistisch gesehen. Sie kollabieren nicht still und leise. Sie bewahren eine enorme Menge an Entropie. Also: Wie erhält man die Entropie aufrecht und sorgt gleichzeitig dafür, dass die Erzeugung synthetischer Daten trotz des Kollapses funktioniert? Das ist eine Forschungsfrage.

Dwarkesh Patel 00:52:20

Nur um sicherzugehen, dass ich es richtig verstehe: Hat der Kollaps deshalb mit der Erzeugung synthetischer Daten zu tun, weil man synthetische Probleme oder Reflexionen erzeugen können will, die in der vorhandenen Datenverteilung noch nicht enthalten sind?

Andrej Karpathy 00:52:32

Ich meine, wenn es ein Kapitel in einem Buch gibt und man ein LLM bittet, darüber nachzudenken, wird es einem etwas liefern, das sehr plausibel aussieht. Aber wenn man zehnmal nachfragt, merkt man, dass alles gleich ist.

Dwarkesh Patel 00:52:44

Sie meinen also, dass man bei derselben Menge an Prompt-Information nicht einfach immer weiter die „Reflexion“ skalieren und daraus Gewinn ziehen kann.

Andrej Karpathy 00:52:54

Einzelne Samples sehen okay aus, aber ihre Verteilung ist ziemlich schrecklich. Schrecklich in dem Sinn, dass es tatsächlich kollabiert, wenn man zu stark weiter auf dem eigenen Output trainiert.

Ich denke, es könnte gut sein, dass es dafür keine grundlegende Lösung gibt. Ich glaube außerdem, dass auch Menschen mit der Zeit kollabieren. Diese Analogien sind erstaunlich gut. Menschen kollabieren im Laufe ihres Lebens. Deshalb sind Kinder noch nicht overfitted. Sie sagen Dinge, die einen schockieren können. Denn man sieht zwar, woher das kommt, aber so reden Menschen normalerweise eben nicht. Weil sie noch nicht kollabiert sind. Aber wir sind kollabiert. Wir kommen immer wieder auf dieselben Gedanken zurück. Wir sagen zunehmend dieselben Dinge, die Lernrate sinkt, der Kollaps wird immer schlimmer, und dann wird alles schlechter.

Dwarkesh Patel 00:53:39

Haben Sie diese sehr interessante Arbeit gesehen, nach der Träume eine Möglichkeit sind, diese Art von Overfitting und Kollaps zu verhindern? Der evolutionäre Nutzen von Träumen wäre demnach, dass sie einen in seltsame Situationen versetzen, die sich stark vom Alltag unterscheiden, um genau diese Art von Overfitting zu vermeiden.

Andrej Karpathy 00:53:55

Interessante Idee. Wenn man im Kopf Dinge generiert und ihnen Aufmerksamkeit schenkt, trainiert man gewissermaßen auf seinen synthetischen Daten. Wenn man das zu lange macht, gerät man aus der Bahn und kollabiert zu stark. Man muss im Leben immer nach Entropie suchen. Mit anderen Menschen zu sprechen, ist eine großartige Entropiequelle und solche Dinge. Vielleicht hat also auch das Gehirn interne Mechanismen entwickelt, um in diesem Prozess die Menge an Entropie zu erhöhen. Das ist eine interessante Idee.

Dwarkesh Patel 00:54:25

Das ist ein noch sehr unausgereifter Gedanke, also sage ich ihn einfach und hätte gern Ihre Reaktion darauf. Die besten Lerner, die wir kennen, also Kinder, sind extrem schlecht darin, Informationen abzurufen. Tatsächlich vergisst man in den allerfrühesten Phasen der Kindheit alles. Für alles, was vor einem bestimmten Alter passiert ist, ist man im Grunde ein Amnesiepatient. Aber beim Erwerb neuer Sprachen und beim Lernen über die Welt sind Kinder extrem gut. Vielleicht gibt es da einen Faktor, bei dem man eher den Wald als die Bäume sieht.

Vergleicht man das mit dem anderen Ende des Spektrums, also mit dem Pretraining von LLMs, dann könnten diese Modelle buchstäblich Wort für Wort wiedergeben, was auf einer Wikipedia-Seite als Nächstes kommt. Aber ihre Fähigkeit, abstrakte Konzepte so schnell zu lernen, wie ein Kind es kann, ist viel begrenzter. Und Erwachsene liegen dann irgendwo dazwischen: Sie haben nicht mehr die Flexibilität kindlichen Lernens, können sich aber Fakten und Informationen auf eine Weise einprägen, die für Kinder schwieriger ist. Ich weiß nicht, ob an diesem Spektrum etwas Interessantes dran ist.

Andrej Karpathy 00:55:19

Ich denke, daran ist zu 100 % etwas sehr Interessantes. Ich glaube, Menschen haben im Vergleich zu LLMs viel stärker diese Komponente, den Wald statt der Bäume zu sehen. Wir sind tatsächlich gar nicht so gut im Auswendiglernen, und das ist eigentlich ein Feature. Gerade weil wir nicht gut im Auswendiglernen sind, werden wir gezwungen, Muster in einem allgemeineren Sinn zu finden.

LLMs sind im Vergleich dazu extrem gut im Auswendiglernen. Sie rezitieren Passagen aus all diesen Trainingsquellen. Man kann ihnen völlig absurden Unsinn als Daten geben. Man kann irgendeine Menge Text hashen oder so etwas, bekommt eine komplett zufällige Sequenz, und wenn man darauf trainiert, können sie sie nach nur ein oder zwei Durchläufen plötzlich vollständig wiederholen. Sie memorieren sie. Es gibt keine Möglichkeit, dass ein Mensch eine einzelne Sequenz zufälliger Zahlen liest und sie Ihnen dann aufsagen kann.

Das ist kein Bug, sondern ein Feature. Denn es zwingt uns dazu, nur die verallgemeinerbaren Bestandteile zu lernen. LLMs dagegen werden durch all diese Erinnerungen an Pretraining-Dokumente abgelenkt, und das dürfte sie in einem bestimmten Sinn stark ablenken. Wenn ich also über den kognitiven Kern spreche, möchte ich genau diese Erinnerungen entfernen, über die wir gesprochen haben. Ich fände es gut, wenn sie weniger Erinnerungen hätten und Dinge nachschlagen müssten, aber nur die Algorithmen für das Denken, die Idee von Experimenten und all den kognitiven Klebstoff für Handlungen behalten würden.

Dwarkesh Patel 00:56:36

Hängt das auch damit zusammen, Modellkollaps zu verhindern?

Andrej Karpathy 00:56:41

Lassen Sie mich nachdenken. Ich bin mir nicht sicher. Das ist fast eine eigene Achse. Modelle sind viel zu gut im Auswendiglernen, und irgendwie muss man das entfernen. Menschen sind darin viel schlechter, und das ist gut.

Dwarkesh Patel 00:56:57

Was ist die Lösung für Modellkollaps? Es gibt sehr naive Dinge, die man ausprobieren könnte. Dass die Verteilung über die Logits breiter sein sollte oder solche Sachen. Es gibt viele naive Ansätze, die man ausprobieren könnte. Was ist am Ende das Problem mit diesen naiven Ansätzen?

Andrej Karpathy 00:57:11

Gute Frage. Man kann sich so etwas wie eine Regularisierung auf Entropie vorstellen und ähnliche Dinge. Empirisch scheint das nicht besonders gut zu funktionieren. Denn die Modelle sind im Moment nun einmal kollabiert. Aber ich würde sagen, dass die meisten Aufgaben, die wir von ihnen wollen, tatsächlich gar keine Vielfalt erfordern. Das ist wahrscheinlich die Antwort darauf, was hier passiert.

Die Frontier-Labore versuchen, Modelle nützlich zu machen. Ich denke, die Vielfalt der Ausgaben ist nicht so... erstens viel schwerer zu bearbeiten und zu evaluieren und all solche Dinge, aber wahrscheinlich erfasst sie auch nicht den Großteil des Werts.

Dwarkesh Patel 00:57:42

Tatsächlich wird das aktiv bestraft. Wenn man in RL sehr kreativ ist, ist das nicht gut.

Andrej Karpathy 00:57:48

Ja. Oder wenn man viel Schreibhilfe von LLMs bekommt, ist das wahrscheinlich auch schlecht. Denn die Modelle geben einem still und leise immer wieder dasselbe. Sie erkunden nicht viele verschiedene Wege, eine Frage zu beantworten.

Vielleicht haben Modelle diese Vielfalt nicht, weil viele Anwendungen sie gar nicht brauchen. Aber bei der Erzeugung synthetischer Daten und Ähnlichem wird das zum Problem. Insofern schießen wir uns selbst ins Bein, indem wir Modellen nicht erlauben, diese Entropie zu erhalten. Vielleicht sollten die Labore sich mehr anstrengen.

Dwarkesh Patel 00:58:17

Ich glaube, Sie haben angedeutet, dass das ein sehr grundlegendes Problem ist und nicht leicht zu lösen sein wird. Was ist Ihre Intuition dazu?

Andrej Karpathy 00:58:24

Ich bin nicht sicher, dass das so grundlegend ist. Ich weiß nicht, ob ich das so ausdrücken wollte. Ich habe solche Experimente nicht gemacht, aber ich denke, man könnte die Entropie vielleicht stärker regularisieren. Also das Modell dazu ermutigen, immer mehr Antworten zu geben, ohne dass man zu weit von den Trainingsdaten abweicht. Sonst beginnt es, seine eigene Sprache zu erfinden. Es würde anfangen, extrem seltene Wörter zu verwenden, und dann driftet man zu weit aus der Verteilung heraus.

Ich denke also, dass es einfach knifflig ist, die Verteilung zu kontrollieren. In diesem Sinn ist es wahrscheinlich nicht trivial.

Dwarkesh Patel 00:58:58

Wenn ich raten müsste: Wie viele Bits sollte der optimale Kern der Intelligenz haben? Wenn man ihn in eine von-Neumann-Sonde einbauen würde – wie groß müsste er sein?

Andrej Karpathy 00:59:10

Das ist in der Geschichte des Feldes wirklich interessant, weil zu einem bestimmten Zeitpunkt alles völlig scaling-süchtig war. „Oh, wir werden viel größere Modelle bauen, Modelle mit Billionen von Parametern.“ Die Modelle sind erst in der Größe nach oben gegangen und jetzt wieder kleiner geworden. Die State-of-the-Art-Modelle sind kleiner. Trotzdem denke ich, dass sie viel zu viel auswendig speichern. Ich habe also vor einiger Zeit die Prognose gemacht, dass man schon mit fast 1 Milliarde Parametern einen sehr guten kognitiven Kern bekommen kann.

Wenn man mit einem Modell mit 1 Milliarde Parametern spricht, könnte man meiner Meinung nach in 20 Jahren ein sehr produktives Gespräch damit führen. Es würde denken und dem Menschen viel ähnlicher sein. Aber wenn man ihm faktische Fragen stellt, müsste es vielleicht nachschauen – es würde aber wissen, dass es etwas nicht weiß, dass es nachsehen muss, und all diese vernünftigen Dinge tun.

Dwarkesh Patel 00:59:54

Ich finde es überraschend, dass Sie denken, dass es 1 Milliarde Parameter braucht. Denn es gibt ja bereits Modelle mit 1 Milliarde oder einigen Milliarden Parametern, und die sind sehr intelligent.

Andrej Karpathy 01:00:02

Nun, die State-of-the-Art-Modelle haben wohl eher Billionen von Parametern. Aber sie merken sich zu viele Dinge.

Dwarkesh Patel 01:00:06

Ja, aber gemessen daran, wie schnell sich das entwickelt, ist es erstaunlich ... Es gibt gpt-oss-20b. Das ist viel besser als das ursprüngliche GPT-4, das über eine Billion Parameter hatte. Wenn man diesen Trend betrachtet, überrascht es mich, dass Sie denken, der kognitive Kern liege in 10 Jahren immer noch bei 1 Milliarde Parametern. Ich hätte eher erwartet, dass Sie sagen: „Oh, das werden zig Millionen oder sogar nur Millionen sein.“

Andrej Karpathy 01:00:30

Hier liegt das Problem. Die Trainingsdaten sind das Internet, und das ist wirklich furchtbar. Es gibt enorme Gewinne, die man erzielen kann, gerade weil das Internet so furchtbar ist. Und selbst wenn man an das Internet denkt – Sie und ich denken dann vielleicht an das Wall Street Journal. Aber darum geht es hier nicht. Wenn man sich in Frontier-Labs die Pretraining-Datensätze anschaut und zufällige Internetdokumente daraus liest, ist das kompletter Müll. Ich habe überhaupt keine Ahnung, wie das überhaupt funktioniert. Börsenticker, Symbole, riesige Mengen an Slop und Müll aus allen Ecken des Internets. Das sind nicht Wall-Street-Journal-Artikel, die sind extrem selten. Weil das Internet so furchtbar ist, müssen wir wirklich große Modelle bauen, um das alles zu komprimieren. Der größte Teil dieser Kompression ist eher Gedächtnisarbeit als kognitive Arbeit.

Was wir aber wirklich wollen, ist der kognitive Teil und das Entfernen des Gedächtnisses. Ich meine: Wir brauchen intelligente Modelle, die uns helfen, die Pretraining-Sets so zu bereinigen, dass nur die kognitive Komponente übrig bleibt. Dann haben wir einen viel besseren Datensatz, und ich denke, dass man dafür mit viel kleineren Modellen auskommen kann. Wahrscheinlich werden diese aber nicht direkt darauf trainiert, sondern vermutlich weiterhin aus deutlich besseren Modellen destilliert.

Dwarkesh Patel 01:01:35

Aber warum hat die destillierte Version dann immer noch 1 Milliarde Parameter?

Andrej Karpathy 01:01:39

Ich habe einfach das Gefühl, dass Distillation extrem gut funktioniert. Also ist fast jedes kleine Modell – wenn man ein kleines Modell sieht – mit sehr hoher Wahrscheinlichkeit destilliert.

Dwarkesh Patel 01:01:46

Klar, aber warum geht Distillation in 10 Jahren dann nicht unter 1 Milliarde?

Andrej Karpathy 01:01:50

Oh, Sie glauben also, es müsste kleiner als 1 Milliarde sein? Ich meine: bitte, oder? Ich weiß es nicht. Irgendwann braucht man doch mindestens 1 Milliarde Regler, um etwas Interessantes zu tun. Glauben Sie, es müsste kleiner sein?

Dwarkesh Patel 01:02:01

Ja. Wenn man sich anschaut, wie in den letzten Jahren die niedrig hängenden Früchte eingesammelt wurden und man in nur zwei Jahren von Modellen mit weit über einer Billion Parametern zu Modellen kam, die buchstäblich halb so groß sind und trotzdem besser performen, dann bringt mich das zu der Annahme, dass der Kern der Intelligenz viel, viel kleiner sein könnte. Um Feynman zu zitieren: Unten ist reichlich Platz.

Andrej Karpathy 01:02:22

Ich habe schon das Gefühl, dass allein die Rede von einem kognitiven Kern mit 1 Milliarde Parametern eher eine Außenseiterposition ist, und Sie gehen sogar noch weiter als ich. Vielleicht wird es etwas kleiner. Ich denke tatsächlich, dass man möchte, dass das Modell ein gewisses Maß an Wissen besitzt. Man will nicht, dass es alles nachschlägt. Denn dann kann es nicht im Kopf denken. Es wäre ständig damit beschäftigt, zu viele Dinge nachzuschlagen. Ein gewisser Grundkanon an Wissen sollte vorhanden sein, aber kein obskures Spezialwissen.

Dwarkesh Patel 01:02:48

Wir diskutieren gerade darüber, was der kognitive Kern sein könnte. Eine separate Frage ist, wie sich die Größe von Frontier-Modellen im Laufe der Zeit entwickeln wird. Ich frage mich, ob Sie dazu eine Prognose haben. Wir haben gesehen, wie die Größe bis GPT 4.5 zugenommen hat und nun wieder sinkt oder stagniert. Dafür kann es viele Gründe geben. Haben Sie eine Prognose für die Zukunft? Werden die größten Modelle größer, kleiner oder gleich groß?

Andrej Karpathy 01:03:14

Ich habe keine besonders starke Prognose. Die Labs sind einfach pragmatisch. Sie haben FLOP-Budgets und Kostenbudgets. Es hat sich herausgestellt, dass Pretraining nicht der Bereich ist, in den man den Großteil der FLOPs oder der Kosten stecken möchte. Deshalb sind die Modelle kleiner geworden. Sie sind etwas kleiner – die Pretraining-Phase ist kleiner –, aber das wird durch Reinforcement Learning, Mid-Training und all die Dinge danach kompensiert. Sie sind einfach bei jeder Phase pragmatisch und fragen sich, wie sie den größten Hebel erzielen können.

Diesen Trend vorherzusagen ist ziemlich schwierig. Ich gehe weiterhin davon aus, dass es noch sehr viele niedrig hängende Früchte gibt. Das ist meine Grundannahme. Hier habe ich eine sehr breite Verteilung.

Dwarkesh Patel 01:03:51

Erwarten Sie, dass diese niedrig hängenden Früchte ähnlich aussehen wie die Art von Dingen, die in den letzten zwei bis fünf Jahren passiert sind? Wenn man sich nanochat im Vergleich zu nanoGPT und die Architektur-Anpassungen anschaut, die Sie gemacht haben – ist das die Art von Entwicklung, von der Sie erwarten, dass sie weitergeht? Sie rechnen also nicht mit einem gewaltigen Paradigmenwechsel.

Andrej Karpathy 01:04:11

Zum größten Teil: ja. Ich erwarte, dass die Datensätze sehr, sehr viel besser werden. Wenn man sich durchschnittliche Datensätze ansieht: extrem furchtbar. So schlecht, dass ich überhaupt nicht verstehe, wie irgendetwas funktioniert. Schauen Sie sich das durchschnittliche Beispiel im Trainingssatz an: faktische Fehler, Irrtümer, Unsinn. Irgendwie sorgt die Größe dann dafür, dass das Rauschen ausgewaschen wird und nur ein Teil des Signals übrig bleibt. Die Datensätze werden sich massiv verbessern.

Alles wird besser. Unsere Hardware, alle Kernel, die die Hardware ausführen und das Maximum aus ihr herausholen. Nvidia passt die Hardware selbst langsam an, die Tensor Cores, all das muss passieren und wird weiter passieren. Alle Kernel werden besser und werden die Chips maximal auslasten. Alle Algorithmen werden sich wahrscheinlich verbessern – bei der Optimierung, bei den Architekturen und bei allen Modellierungsbestandteilen rund darum, wie alles aufgebaut ist und welche Algorithmen wir trainieren. Ich erwarte nicht, dass eine einzelne Sache dominieren wird. Eher alles plus 20 %. So ungefähr ist das, was ich bisher gesehen habe.

01:06:25 – AGI wird in einem BIP-Wachstum von 2 % enthalten sein.

Dwarkesh Patel 01:06:25

Die Leute haben verschiedene Möglichkeiten vorgeschlagen, Diagramme dafür zu erstellen, wie weit wir auf dem Weg zu vollständiger AGI gekommen sind. Wenn man irgendeine Linie ziehen kann, lässt sich sehen, wo diese Linie AGI schneidet und an welcher Stelle auf der x-Achse das passiert. Manche haben vorgeschlagen, das als Bildungsniveau zu betrachten. Wir hatten das Niveau eines Highschool-Schülers, dann ging es mit RL aufs College, und als Nächstes bekommen wir einen Doktortitel.

Andrej Karpathy 01:06:44

Das gefällt mir nicht.

Dwarkesh Patel 01:06:45

Oder sie schlagen den Horizont von Aufgaben vor. Vielleicht kann sie Aufgaben erledigen, die eine Minute dauern, und das autonom. Dann kann sie autonom Aufgaben erledigen, die einem Menschen eine Stunde dauern, oder Aufgaben, für die ein Mensch eine Woche braucht. Was halten Sie hier von einer relevanten y-Achse? Wie sollten wir darüber nachdenken, wie AI Fortschritte macht?

Andrej Karpathy 01:07:05

Darauf gibt es zwei Antworten. Erstens möchte ich die Frage selbst fast zurückweisen. Denn ich sehe das als eine Erweiterung von Computing. Haben wir je darüber gesprochen, wie man Fortschritt im Computing als Diagramm darstellt, oder wie man Fortschritt im Computing seit den 1970ern chartet? Was ist die y-Achse? Aus dieser Perspektive ist die ganze Frage ein bisschen absurd.

Wenn Leute über AI und ursprünglich AGI sprechen und darüber, wie wir bei OpenAI darüber gesprochen haben, als OpenAI gestartet ist, dann war AGI ein System, das alle wirtschaftlich wertvollen Aufgaben auf menschlichem Niveau oder darüber ausführen kann. Das war die Definition. Damit war ich damals ziemlich zufrieden, und ich bin dieser Definition bis heute treu geblieben. Danach haben sich die Leute alle möglichen anderen Definitionen ausgedacht. Aber ich mag diese Definition.

Das erste Zugeständnis, das die Leute immer machen, ist einfach, alle physischen Dinge herauszunehmen. Denn wir sprechen dann nur noch über digitale Wissensarbeit. Das ist im Vergleich zur ursprünglichen Definition schon ein ziemlich großes Zugeständnis. Die ursprüngliche Definition umfasste jede Aufgabe, die ein Mensch erledigen kann. Ich kann Dinge heben und so weiter. AI kann das offensichtlich nicht, aber ich akzeptiere das. Wenn wir sagen: „Oh, nur Wissensarbeit“, wie viel von der Wirtschaft klammern wir dann aus? Ich kenne die Zahl nicht. Mein Gefühl wäre ungefähr 10 bis 20 %, wenn ich raten müsste: nur Wissensarbeit, bei der jemand von zu Hause aus arbeitet und Aufgaben erledigt und so weiter. Das ist immer noch ein wirklich großer Markt. Wie groß ist die Wirtschaft, und was sind 10 oder 20 % davon? Wir sprechen immer noch von mehreren Billionen Dollar, allein in den USA, an Marktanteil oder Arbeit. Es ist also immer noch eine sehr große Kategorie.

Zurück zur Definition: Worauf ich schaue, ist, wie wahr diese Definition inzwischen ist. Gibt es Jobs oder zumindest viele Aufgaben? Wenn man Aufgaben als Aufgaben und nicht als Jobs betrachtet. Das ist schwierig. Denn das Problem ist, dass die Gesellschaft Jobs entlang der Frage umstrukturieren wird, was automatisierbar ist und was nicht. Welche Jobs sind heute durch AI ersetzbar? Ein aktuelles gutes Beispiel war Geoff Hintons Vorhersage, dass Radiologen keinen Job mehr haben würden, und das hat sich in vielerlei Hinsicht als sehr falsch herausgestellt. Radiologen sind da, es geht ihnen gut, und ihre Zahl wächst. Und das, obwohl Computer Vision wirklich, wirklich gut darin ist, all die verschiedenen Dinge zu erkennen, die sie in Bildern erkennen müssen. Es ist einfach ein komplexer Beruf mit vielen Facetten, im Umgang mit Patienten und im gesamten Kontext davon.

Nach dieser Definition denke ich nicht, dass AI bisher einen großen Einfluss hatte. Einige der Jobs, nach denen ich Ausschau halten würde, haben Eigenschaften, die sie viel eher als andere für Automatisierung geeignet machen. Callcenter-Mitarbeiter kommen zum Beispiel oft auf, und ich denke, zu Recht. Callcenter-Mitarbeiter haben viele vereinfachende Eigenschaften in Bezug auf das, was heute automatisierbar ist. Ihr Job ist ziemlich simpel. Es ist eine Abfolge von Aufgaben, und alle Aufgaben sehen ungefähr gleich aus. Man führt ein Telefongespräch mit einer Person, es ist eine 10-minütige Interaktion oder was auch immer, vielleicht etwas länger. Meiner Erfahrung nach deutlich länger. Man erledigt irgendeine Aufgabe in irgendeinem System und ändert einige Datenbankeinträge oder so etwas. Man wiederholt also immer wieder etwas, und das ist der Job.

Ich möchte den Aufgabenhorizont heranziehen — wie lange es dauert, eine Aufgabe zu erledigen — und dann den Kontext herausnehmen. Man befasst sich nicht mit dem Service des Unternehmens oder den verschiedenen Seiten anderer Kunden. Es gibt einfach nur die Datenbank, Sie und die Person, die Sie bedienen. Es ist geschlossener, verständlicher und rein digital. Nach so etwas würde ich also suchen.

Aber selbst dort würde ich noch nicht nach vollständiger Automatisierung suchen. Ich würde nach einem Autonomie-Regler suchen. Ich erwarte nicht, dass wir Menschen sofort ersetzen. Wir werden sie durch AI ersetzen, die 80 % des Volumens erledigt. Diese delegiert dann 20 % des Volumens an Menschen, und die Menschen beaufsichtigen fünf AI-Teams, die stärker standardisierte Callcenter-Aufgaben übernehmen. Ich würde nach neuen Interfaces oder neuen Unternehmen suchen, die eine Ebene bereitstellen, mit der man einige dieser AIs verwalten kann. Sie sind noch nicht perfekt. Und dann würde ich das für die gesamte Wirtschaft erwarten. Viele Jobs sind viel schwieriger als die von Callcenter-Mitarbeitern.

Dwarkesh Patel 01:11:02

Bei Radiologen rate ich völlig ins Blaue und habe überhaupt keine Ahnung, wie ihr tatsächlicher Workflow aussieht. Aber eine Analogie, die vielleicht anwendbar ist: Als Waymo erstmals eingeführt wurde, saß vorne ein Mensch, der da sein musste, falls etwas wirklich schiefläuft. Auch heute schauen Menschen noch zu, um sicherzustellen, dass alles gut läuft. Selbst das gerade eingeführte Robotaxi hat noch einen Menschen darin.

Jetzt könnten wir in einer ähnlichen Situation sein, in der selbst dann, wenn wir 99 % eines Jobs automatisieren, das letzte 1 %, das ein Mensch erledigen muss, extrem wertvoll wird, weil es zum Flaschenhals für alles andere wird. Im Fall eines Radiologen: Wenn die Person, die vorne bei Waymo sitzt, jahrelang speziell dafür ausgebildet werden muss, dieses letzte 1 % zu liefern, dann müssten ihre Löhne massiv steigen. Denn sie ist das Einzige, was eine breite Einführung zum Flaschenhals macht. Bei Radiologen sind, glaube ich, aus ähnlichen Gründen die Löhne gestiegen: wenn man der letzte Flaschenhals ist und nicht austauschbar. Ein Waymo-Fahrer ist möglicherweise durch andere austauschbar. Man könnte also so etwas sehen, bei dem die Löhne bis zu den 99 % steigen und dann, wenn das letzte 1 % verschwindet, entsprechend fallen. Und ich frage mich, ob wir etwas Ähnliches bei Gehältern in der Radiologie oder bei Callcenter-Mitarbeitern und ähnlichen Berufen sehen.

Andrej Karpathy 01:12:17

Interessante Frage. Ich glaube nicht, dass wir das derzeit in der Radiologie sehen. Ich halte die Radiologie nicht für ein gutes Beispiel. Ich weiß nicht, warum Geoff Hinton ausgerechnet die Radiologie gewählt hat. Denn ich halte das für einen extrem komplexen Beruf.

Ich wäre zum Beispiel viel stärker daran interessiert, was heute mit Callcenter-Mitarbeitern passiert. Denn ich würde erwarten, dass viele standardisierte Teile davon heute automatisierbar sind. Ich habe darauf keinen direkten Zugriff, aber ich würde nach Trends schauen, was mit Callcenter-Mitarbeitern passiert. Etwas, das ich ebenfalls erwarten würde, ist wahrscheinlich, dass sie AI einsetzen, aber dann würde ich trotzdem noch ein oder zwei Jahre warten. Denn ich würde potenziell erwarten, dass sie das zurückrollen und einige Leute wieder einstellen.

Dwarkesh Patel 01:13:00

Es gab bereits Hinweise darauf, dass das bei Unternehmen, die AI eingeführt haben, allgemein schon passiert. Das finde ich ziemlich erstaunlich.

Was ich außerdem wirklich überraschend fand: AGI, richtig? Sie wird alles können. Physische Arbeit nehmen wir heraus, aber sie sollte alle Wissensarbeit leisten können. Naiv hätte ich erwartet, dass dieser Fortschritt so verläuft, dass man eine kleine Aufgabe herausnimmt, die ein Berater macht, und sie aus dieser Kategorie entfernt. Dann nimmt man eine kleine Aufgabe heraus, die ein Buchhalter macht, und entfernt sie aus dieser Kategorie. Und dann macht man das quer durch die gesamte Wissensarbeit.

Wenn man stattdessen glaubt, dass wir mit dem aktuellen Paradigma auf dem Weg zu AGI sind, dann sieht der Fortschritt überhaupt nicht so aus. Es wirkt nicht so, als würden Berater und Buchhalter enorme Produktivitätssteigerungen erzielen. Es ist viel eher so, wie Programmierer nach und nach in ihrer Arbeit beschnitten werden. Wenn man sich die Einnahmen dieser Unternehmen ansieht und die allgemeinen Chat-Erlöse ausklammert — das ist eher vergleichbar mit etwas wie Google — und nur auf die API-Umsätze schaut, dann dominiert Coding. Also macht dieses „allgemeine“ Ding, das eigentlich jede Form von Wissensarbeit erledigen können sollte, überwältigend vor allem Coding. Das ist eine erstaunliche Art, wie AGI offenbar ausgerollt werden soll.

Andrej Karpathy 01:14:13

Hier ist der interessante Punkt. Ich glaube, Coding ist das perfekte erste Anwendungsfeld für diese LLMs und Agenten. Denn Coding hat schon immer grundlegend rund um Text funktioniert. Es geht um Computerterminals und Text, und alles basiert auf Text. LLMs mögen Text aufgrund der Art, wie sie auf dem Internet trainiert werden. Sie sind perfekte Textverarbeiter, und dafür gibt es all diese Daten. Das passt perfekt zusammen.

Wir haben außerdem schon sehr viel Infrastruktur, die auf die Verarbeitung von Code und Text ausgelegt ist. Zum Beispiel zeigt Visual Studio Code oder deine bevorzugte IDE Code an, und ein Agent kann daran andocken. Wenn es ein diff gibt, in dem der Agent Änderungen vorgenommen hat, dann haben wir plötzlich bereits all diesen Code, der mithilfe von diff sämtliche Unterschiede in der Codebasis anzeigen kann. Es fühlt sich an, als hätten wir für Code bereits sehr viel Infrastruktur vorab aufgebaut.

Vergleicht das mit Dingen, die davon überhaupt nicht profitieren. Es gibt zum Beispiel Leute, die versuchen, Automatisierung nicht für Coding, sondern für Slides zu bauen. Ich habe ein Unternehmen gesehen, das mit Slides arbeitet. Das ist viel, viel schwieriger. Es ist schwieriger, weil Slides kein Text sind. Slides bestehen aus kleinen Grafiken, die räumlich angeordnet sind und visuelle Komponenten haben. Slides haben diese vorab aufgebaute Infrastruktur nicht. Wenn ein Agent zum Beispiel eine Slide verändert, wie zeigt man dann ein diff? Wie schaut man sich dieses diff an? Es gibt nichts, das ein diff für Slides anzeigt. Jemand müsste das erst bauen. Einiges davon eignet sich einfach nicht so gut für eine AI, die ein Textverarbeiter ist, und Code überraschenderweise schon.

Dwarkesh Patel 01:15:48

Ich bin mir nicht sicher, dass das allein die Erklärung ist. Ich persönlich habe versucht, LLMs in Bereichen nützlich zu machen, die reine Spracheingabe und Sprachausgabe sind, Dinge wie das Umschreiben von Transkripten oder das Erstellen von Clips auf Basis von Transkripten. Sehr wahrscheinlich habe ich nicht alles Mögliche ausprobiert. Ich habe viele gute Beispiele in den Kontext gegeben, aber vielleicht hätte es irgendeine Form von Fine-Tuning gebraucht.

Unser gemeinsamer Freund Andy Matuschak hat erzählt, dass er fünfzig Milliarden Dinge ausprobiert hat, um das Modell dazu zu bringen, gute Prompts für Spaced Repetition zu schreiben. Wieder ist das eine Aufgabe mit Spracheingabe und Sprachausgabe und eigentlich genau im Zentrum des Repertoires dieser LLMs. Er hat In-Context Learning mit Few-Shot-Beispielen ausprobiert. Er hat überwachtes Fine-Tuning und Retrieval ausprobiert. Er konnte das Modell einfach nicht dazu bringen, Karten zu erstellen, mit denen er zufrieden war.

Deshalb finde ich es bemerkenswert, dass es selbst in Domänen mit sprachlicher Ausgabe, abgesehen von Coding, sehr schwer ist, aus diesen Modellen viel wirtschaftlichen Wert herauszuholen. Ich weiß nicht, was das erklärt.

Andrej Karpathy 01:16:57

Das ergibt Sinn. Ich sage nicht, dass alles, was Text ist, trivial wäre. Ich denke, Code ist ziemlich stark strukturiert. Bei Text würde ich sagen, dass er wahrscheinlich viel ausschmückender ist und viel mehr Entropie hat. Ich weiß nicht, wie ich es anders ausdrücken soll. Außerdem ist Code schwierig, und deshalb haben Menschen schon bei einfachem Wissen das Gefühl, durch LLMs ziemlich stark befähigt zu werden. Ich habe darauf keine besonders gute Antwort. Offensichtlich macht Text all das viel, viel einfacher, aber das heißt nicht, dass jeder Text trivial ist.

01:17:36 – ASI (Superintelligenz)

Dwarkesh Patel 01:17:36

Was denkst du über Superintelligenz? Erwartest du, dass sie sich qualitativ anders anfühlen wird als gewöhnliche Menschen oder menschliche Unternehmen?

Andrej Karpathy 01:17:45

Ich sehe das als den Fortschritt der Automatisierung in der Gesellschaft. Wenn man die Trends im Computing extrapoliert, wird es eine schrittweise Automatisierung vieler Dinge geben, und Superintelligenz wäre die Extrapolation davon. Ich erwarte, dass im Laufe der Zeit immer mehr autonome Entitäten viele digitale Arbeiten übernehmen und später, nach einiger Zeit, sogar physische Arbeit. Im Grunde sehe ich das einfach als Automatisierung, grob gesagt.

Dwarkesh Patel 01:18:10

Aber Automatisierung umfasst Dinge, die Menschen bereits tun können, und Superintelligenz meint Dinge, die Menschen nicht tun können.

Andrej Karpathy 01:18:16

Aber eines der Dinge, die Menschen tun, ist, neue Dinge zu erfinden, und wenn das Sinn ergibt, würde ich auch das unter Automatisierung fassen.

Dwarkesh Patel 01:18:20

Aber weniger abstrakt und mehr qualitativ: Würde sich etwas ... weil das hier vielleicht so schnell denken kann oder so viele Kopien von sich haben kann oder weil diese Kopien wieder miteinander verschmelzen können oder weil es einfach viel intelligenter ist oder irgendeinen der vielen anderen Vorteile hat, die AI haben könnte — würde sich eine Zivilisation, in der solche AIs existieren, qualitativ anders anfühlen als eine menschliche?

Andrej Karpathy 01:18:51

Ich denke schon. Im Kern ist es Automatisierung, aber sie wird extrem fremdartig wirken. Es wird wirklich seltsam aussehen. Wie du gesagt hast, können wir all das auf Computerclustern laufen lassen und sehr viel schneller machen.

Einige der Szenarien, bei denen ich anfange, mir Sorgen zu machen, wenn die Welt so aussieht, sind ein schrittweiser Verlust von Kontrolle und Verständnis darüber, was eigentlich passiert. Ich denke, der schrittweise Verlust von Verständnis ist das wahrscheinlichste Ergebnis. Wir werden nach und nach all diese Dinge überall übereinanderschichten, und immer weniger Menschen werden sie verstehen. Und dann wird es einen schrittweisen Verlust von Kontrolle und Verständnis darüber geben, was vor sich geht. Für mich sieht das nach dem wahrscheinlichsten Verlauf von all dem aus.

Dwarkesh Patel 01:19:31

Lass mich da etwas tiefer einsteigen. Es ist nicht klar, dass Verlust von Kontrolle und Verlust von Verständnis dasselbe sind. Der Vorstand von TSMC, Intel — setz irgendeinen Firmennamen ein — das sind einfach angesehene Achtzigjährige. Sie haben kaum Verständnis und wahrscheinlich auch de facto keine wirkliche Kontrolle.

Ein besseres Beispiel ist der Präsident der Vereinigten Staaten. Der Präsident hat viel Macht. Ich will über den aktuellen Amtsinhaber keine freundliche Aussage machen, oder vielleicht doch, aber das tatsächliche Maß an Verständnis unterscheidet sich sehr stark vom Maß an Kontrolle.

Andrej Karpathy 01:20:06

Das ist fair. Ein guter Einwand. Ich denke, ich erwarte den Verlust von beidem.

Dwarkesh Patel 01:20:15

Wie denn? Der Verlust von Verständnis ist offensichtlich, aber warum der Verlust von Kontrolle?

Andrej Karpathy 01:20:20

Wir bewegen uns hier wirklich tief in Bereiche hinein, von denen wir nicht wissen, wie sie aussehen, aber wenn ich Science-Fiction schreiben würde, dann würde ich eher in die Richtung mehrerer konkurrierender Entitäten gehen, die nach und nach immer autonomer werden, und nicht einmal unbedingt einer einzelnen Entität, die alles übernimmt. Einige von ihnen werden aus dem Ruder laufen, und andere werden sie wieder besiegen. Es ist so ein Hotspot vollständig autonomer Aktivitäten, die wir delegiert haben. Ich habe das Gefühl, so in etwa wird es sich anfühlen.

Dwarkesh Patel 01:20:52

Es ist also nicht die Tatsache, dass sie intelligenter sind als wir, die zum Kontrollverlust führt. Es ist die Tatsache, dass sie miteinander konkurrieren, und was auch immer aus diesem Wettbewerb hervorgeht, führt zum Kontrollverlust.

Andrej Karpathy 01:21:06

Ja. Viele dieser Dinge werden Werkzeuge für Menschen sein und im Namen von Menschen handeln oder so etwas. Also kontrollieren diese Menschen sie vielleicht, aber vielleicht gibt es auf gesellschaftlicher Ebene trotzdem einen Kontrollverlust, im Sinne dessen, was wir eigentlich als Ergebnis wollen. Man hat immer noch Entitäten, die im Namen von Individuen handeln, die insgesamt gesehen ungefähr außer Kontrolle wirken.

Dwarkesh Patel 01:21:30

Das ist eine Frage, die ich viel früher hätte stellen sollen. Wir haben darüber gesprochen, dass sich diese Modelle bei aktueller AI-Entwicklung oder AI-Forschung eher wie Compiler anfühlen als wie ein Ersatz.

Ab einem gewissen Punkt sollte man, wenn man AGI hat, in der Lage sein, das zu tun, was Sie tun. Haben Sie das Gefühl, dass eine Million parallele Kopien von Ihnen zu einer enormen Beschleunigung des AI-Fortschritts führen würden? Falls das passiert: Erwarten Sie dann, dass wir bei echter AGI eine Intelligenzexplosion sehen werden? Ich spreche nicht von den heutigen LLMs.

Andrej Karpathy 01:22:01

Ja, aber das ist im Grunde Business as usual. Denn wir befinden uns bereits in einer Intelligenzexplosion, und das schon seit Jahrzehnten. Im Wesentlichen ist das die BIP-Kurve, ein exponentiell gewichtetes Mittel aus extrem vielen Aspekten der Industrie. Alles wird schrittweise automatisiert, und das passiert seit Hunderten von Jahren. Die industrielle Revolution war Automatisierung in Teilen der physischen Komponenten, der Werkzeugherstellung und Ähnlichem. Compiler waren frühe Software-Automatisierung und so weiter. Wir verbessern uns schon seit Langem rekursiv selbst und explodieren gewissermaßen bereits.

Eine andere Sichtweise darauf ist: Die Erde war, wenn man Biomechanik und Ähnliches ausblendet, ein ziemlich langweiliger Ort und sah sehr gleichförmig aus. Aus dem Weltall betrachtet befinden wir uns mitten in diesem Feuerwerk, aber wir sehen es in Zeitlupe. Ich habe definitiv das Gefühl, dass das schon sehr lange passiert. Noch einmal: Ich sehe AI nicht als eine von dem getrennte Technologie, was ohnehin schon seit Langem passiert.

Dwarkesh Patel 01:23:00

Sie halten das also für kontinuierlich mit diesem superexponentiellen Trend?

Andrej Karpathy 01:23:03

Ja. Das war für mich sehr interessant, weil ich eine Zeit lang versucht habe, AI im BIP zu finden. Ich dachte, das BIP müsste nach oben gehen. Aber dann habe ich mir andere Technologien angesehen, die ich für sehr transformativ hielt, etwa Computer oder Mobiltelefone. Man kann sie im BIP nicht finden. Das BIP bleibt dieselbe Exponentialkurve.

Sogar das frühe iPhone hatte keinen App Store und viele der Features nicht, die ein modernes iPhone heute hat. Selbst wenn man also 2008, als das iPhone herauskam, als diese große tektonische Verschiebung betrachtet, war es das in Wirklichkeit nicht. Alles ist so verteilt und diffundiert so langsam, dass am Ende alles zu derselben Exponentialkurve gemittelt wird. Bei Computern ist es genau dasselbe. Im BIP kann man nicht sagen: „Oh, jetzt gibt es Computer.“ So etwas ist nicht passiert. Weil es sich zu langsam entfaltet.

Bei AI werden wir genau dasselbe sehen. Es ist einfach mehr Automatisierung. Sie ermöglicht uns andere Arten von Programmen, die wir zuvor nicht schreiben konnten. Aber AI ist im Kern immer noch ein Programm. Es ist eine neue Art von Computer und eine neue Art von Computing-System. Aber es hat all diese Probleme, wird sich mit der Zeit ausbreiten und weiterhin zu derselben Exponentialkurve addieren. Wir werden immer noch eine Exponentialkurve haben, die extrem steil wird. In so einer Umgebung zu leben, wird sich sehr ungewohnt anfühlen.

Dwarkesh Patel 01:24:10

Wenn Sie sich den Trend von vor der industriellen Revolution bis heute ansehen: Sagen Sie dann, dass wir eine Superexponentialität haben, die von 0 % Wachstum über 0,02 % Wachstum vor 10.000 Jahren zu heute 2 % Wachstum führt? Das wäre superexponentiell. Und wenn man AI dort einzeichnet, sagen Sie dann, dass AI uns auf 20 % Wachstum oder 200 % Wachstum bringt?

Oder sagen Sie: Wenn man die letzten 300 Jahre betrachtet, dann sehen wir zwar einzelne Technologien — Computer, Elektrifizierung, Dampfmaschine, Eisenbahn und so weiter —, aber die Wachstumsrate bleibt genau gleich, nämlich 2 %? Sagen Sie, dass die Wachstumsrate steigen wird?

Andrej Karpathy 01:24:46

Die Wachstumsrate ist doch auch ungefähr konstant geblieben, oder?

Dwarkesh Patel 01:24:49

Nur in den letzten 200 bis 300 Jahren. Aber im Verlauf der Menschheitsgeschichte ist sie explodiert. Von 0 % zu schneller, schneller, schneller. Industrielle Explosion, 2 %.

Andrej Karpathy 01:25:01

Eine Zeit lang habe ich versucht, AI in der BIP-Kurve zu finden oder dort AI zu entdecken, und habe mich selbst davon überzeugt, dass das falsch ist. Selbst wenn Leute über rekursive Selbstverbesserung und Labore und so weiter sprechen, ist das Business as usual. Natürlich werden wir uns rekursiv selbst verbessern, wir haben das ja bereits getan.

LLMs ermöglichen es Ingenieuren, viel effizienter an der nächsten Runde von LLMs zu arbeiten, und viel mehr der einzelnen Komponenten werden automatisiert und orchestriert. Alle Ingenieure mit Zugriff auf die Google-Suche sind ebenfalls Teil davon. Alle Ingenieure mit einer IDE, alle Ingenieure mit Autovervollständigung oder alle Ingenieure mit Claude Code und so weiter — sie alle sind Teil derselben allgemeinen Beschleunigung. Es ist alles sehr nahtlos.

Dwarkesh Patel 01:25:41

Um das klarzustellen: Sie sagen also, dass sich die Wachstumsrate nicht ändern wird. Die Intelligenzexplosion würde sich einfach darin zeigen, dass wir auf dem 2%-Wachstumspfad bleiben können, so wie das Internet uns geholfen hat, auf diesem 2%-Wachstumspfad zu bleiben.

Andrej Karpathy 01:25:53

Ja, meine Erwartung ist, dass wir beim gleichen Muster bleiben.

Dwarkesh Patel 01:25:58

Um das Gegenargument zu formulieren: Meine Erwartung ist, dass es explodieren wird. Denn echte AGI — und ich spreche nicht von LLM-Coding-Bots, sondern von echtem menschlichem Ersatz auf Servern — ist meiner Meinung nach qualitativ anders als diese anderen produktivitätssteigernden Technologien. Denn es ist Arbeit selbst.

Ich glaube, wir leben in einer Welt, die sehr stark durch Arbeit begrenzt ist. Wenn man mit Startup-Gründern oder eigentlich mit irgendwem spricht und fragt, was sie mehr brauchen, dann sind es wirklich talentierte Menschen. Wenn es Milliarden zusätzlicher Menschen gäbe, die Dinge erfinden, integrieren und Unternehmen von Anfang bis Ende aufbauen, dann fühlt sich das qualitativ anders an als eine einzelne Technologie. Es wäre, als bekäme die Erde 10 Milliarden zusätzliche Menschen.

Andrej Karpathy 01:26:44

Möglicherweise. Das ist ein Gegenargument. Ich bin bei diesem Punkt durchaus offen dafür, mich in die eine oder andere Richtung überzeugen zu lassen. Aber zum Beispiel: Computing ist Arbeit. Computing war Arbeit. Computer haben viele Jobs verschwinden lassen, weil Computer jetzt eine Menge digitale Informationsverarbeitung automatisieren, für die man keine Menschen mehr braucht. Insofern ist Computing Arbeit, und das hat sich bereits entfaltet.

Zum Beispiel ist auch autonomes Fahren ein Fall, in dem Computer Arbeit leisten. Auch das entfaltet sich bereits. Es ist immer noch Business as usual.

Dwarkesh Patel 01:27:13

Es gibt potenziell eine Maschine, die mehr von all diesen Dingen in höherem Tempo hervorbringt. Historisch gab es Beispiele für Regimewechsel beim Wachstum, etwa von 0,2 % auf 2 %. Eine Maschine, die das nächste autonome Fahrzeug und das nächste Internet und was auch immer hervorbringt … so eine Maschine erscheint sehr plausibel …

Andrej Karpathy 01:27:33

Ich verstehe, woher das kommt. Gleichzeitig habe ich das Gefühl, dass die Leute annehmen: „Wir haben einen Gott in einer Kiste, und jetzt kann er alles.“ Aber so wird es nicht aussehen. Einige Dinge wird er können. Bei anderen Dingen wird er scheitern. Man wird ihn schrittweise in die Gesellschaft einführen, und am Ende landet man wieder beim gleichen Muster. Das ist meine Vorhersage.

Diese Annahme, dass wir plötzlich einen vollständig intelligenten, vollständig flexiblen, vollständig allgemeinen Menschen in einer Kiste haben und ihn auf beliebige Probleme der Gesellschaft ansetzen können — ich glaube nicht, dass wir so einen diskontinuierlichen Wandel erleben werden. Ich denke, wir werden dieselbe Art gradueller Verbreitung über ganze Branchen hinweg sehen.

Dwarkesh Patel 01:28:14

In solchen Gesprächen führt das oft zu Missverständnissen. Ich benutze in diesem Kontext das Wort Intelligenz nicht gern. Denn Intelligenz impliziert, dass da auf einem Server eine einzelne Superintelligenz sitzt und auf göttliche Weise weiß, wie man diese neuen Technologien und Erfindungen hervorbringt, die diese Explosion auslösen. Das ist nicht das, was ich mir unter 20 % Wachstum vorstelle. Ich stelle mir Hunderte Millionen sehr kluger, menschenähnlicher Geister vor, potenziell — oder dass vielleicht schon das allein ausreicht.

Aber die Tatsache, dass es Hunderte Millionen oder Milliarden davon gibt und jeder einzelne neue Produkte entwickelt und selbst herausfindet, wie er sich in die Wirtschaft integriert — das ist der Punkt. Wenn ein hochqualifizierter, kluger Einwanderer in ein Land käme, müsste niemand für ihn herausfinden, wie er sich in die Wirtschaft integriert. Er würde das selbst herausfinden. Er könnte ein Unternehmen gründen, etwas erfinden und die Produktivität der Welt steigern.

Auch im aktuellen System gibt es Beispiele für Orte mit 10–20 % Wirtschaftswachstum. Wenn es viele Menschen gibt und im Verhältnis dazu weniger Kapital, kann man über Jahrzehnte hinweg ein Wachstum von über 10 % haben, wie in Hongkong oder Shenzhen oder wo auch immer. Es gibt viele wirklich kluge Menschen, die bereit sind, Ressourcen zu nutzen und diese Aufholphase zu durchlaufen. Denn wir hatten diese Diskontinuität, und ich denke, bei AI könnte es ähnlich sein.

Andrej Karpathy 01:29:33

Ich verstehe das, aber ich denke immer noch, dass du dabei einen diskontinuierlichen Sprung voraussetzt. Dass es irgendeine Freischaltung gibt, auf die wir nur noch warten. Plötzlich hätten wir Genies in Rechenzentren. Ich denke immer noch, dass du einen diskontinuierlichen Sprung voraussetzt, für den ich in keiner Statistik einen historischen Präzedenzfall finde, und ich glaube, dass er wahrscheinlich nicht eintreten wird.

Dwarkesh Patel 01:29:52

Ich meine, die Industrielle Revolution war so ein Sprung. Man ging von 0,2 % Wachstum auf 2 % Wachstum. Ich sage nur, dass wir einen weiteren Sprung wie diesen sehen werden.

Andrej Karpathy 01:30:00

Ich bin da etwas skeptisch. Ich glaube, man müsste sich das genauer ansehen. Zum Beispiel sind einige Aufzeichnungen aus der Zeit vor der Industriellen Revolution nicht besonders gut. Ich bin da etwas skeptisch, habe aber keine starke Meinung dazu. Du sagst, das sei ein einzelnes Ereignis gewesen, das extrem magisch war. Du sagst, es werde wahrscheinlich ein weiteres Ereignis geben, das genau so sein wird, und es wird extrem magisch sein. Es wird das Paradigma sprengen und so weiter.

Dwarkesh Patel 01:30:23

Eigentlich ist gerade der entscheidende Punkt an der Industriellen Revolution, dass sie nicht magisch war. Wenn man einfach herauszoomt, sieht man weder 1770 noch 1870 irgendeine einzelne Schlüsselerfindung. Und doch war der Fortschritt gleichzeitig viel schneller und hat die Wirtschaft in ein Regime verschoben, in dem der Exponent zehnmal so groß war. Ich erwarte bei AI etwas Ähnliches. Ich glaube nicht, dass es einen einzelnen Moment mit einer entscheidenden Erfindung geben wird.

Andrej Karpathy 01:30:51

Es ist ein freigeschaltetes Überangebot. So etwas wie eine neue Energiequelle. Es gibt eine Art Freischaltung — in diesem Fall irgendeine Form kognitiver Fähigkeit — und es gibt ein Überangebot an kognitiver Arbeit, die getan werden muss.

Dwarkesh Patel 01:31:02

Genau.

Andrej Karpathy 01:31:03

Du erwartest, dass dieses Überangebot, sobald es einen Schwellenwert überschreitet, mit dieser neuen Technologie aufgefüllt wird.

Dwarkesh Patel 01:31:06

Vielleicht kann man so darüber nachdenken: Im Laufe der Geschichte kam viel Wachstum daher, dass Menschen Ideen entwickeln und andere Menschen diese Ideen dann umsetzen und etwas tun, um wertvolle Outputs zu erzeugen. Während der meiste Zeit ist die Bevölkerung explosionsartig gewachsen. Das hat das Wachstum angetrieben.

In den letzten 50 Jahren haben die Leute argumentiert, dass das Wachstum stagniert. Auch die Bevölkerung in den entwickelten Ländern stagniert. Ich denke, wir kehren zu exponentiellem Bevölkerungswachstum zurück, das ein überexponentielles Wachstum des Outputs auslöst.

Andrej Karpathy 01:31:37

Das ist wirklich schwer zu sagen. Ich verstehe diese Sichtweise. Intuitiv fühlt sie sich für mich nicht richtig an.

01:32:50 – Die Evolution von Intelligenz und Kultur

Dwarkesh Patel 01:32:50

Sie haben mir ein Buch von Nick Lane empfohlen. Darauf aufbauend fand ich es ebenfalls sehr interessant und habe ihn interviewt. Ich habe ein paar Fragen dazu, wie man über Intelligenz und Evolutionsgeschichte nachdenken sollte.

Nachdem Sie nun seit 20 Jahren AI-Forschung betreiben, haben Sie vermutlich ein konkreteres Gefühl dafür, was Intelligenz ist und was man braucht, um sie zu entwickeln. Sind Sie deshalb eher mehr oder eher weniger überrascht, dass die Evolution einfach zufällig darauf gestoßen ist?

Andrej Karpathy 01:33:19

Ich mag Nick Lanes Bücher wirklich sehr. Auf dem Weg hierher habe ich seinen Podcast gehört. Was Intelligenz und ihre Evolution angeht: Das ist sehr, sehr neu. Ich bin überrascht, dass sie sich entwickelt hat.

Es ist unglaublich faszinierend, über all die möglichen Welten da draußen nachzudenken. Angenommen, es gibt tausend Planeten wie die Erde — wie würden sie aussehen? Nick Lane war hier und sprach über einige der frühesten Phasen. Er erwartet, grob gesagt, sehr ähnliche Lebensformen, und auf den meisten von ihnen Dinge, die Bakterien ähneln. Es gibt da einige Brüche. Dass sich Intelligenz entwickelt, fühlt sich für mich intuitiv wie ein ziemlich seltenes Ereignis an.

Vielleicht sollte man sich daran orientieren, wie lange etwas schon existiert hat. Wenn Bakterien 2 Milliarden Jahre lang existierten und nichts passiert ist, dann ist der Übergang zu Eukaryoten wahrscheinlich ziemlich schwierig. Denn Bakterien tauchten ziemlich früh in der Evolution beziehungsweise Geschichte der Erde auf. Wie lange gab es Tiere? Vielleicht ein paar hundert Millionen Jahre, also mehrzellige Tiere, die herumlaufen, herumkriechen und so weiter. Das sind vielleicht 10 % der Lebensdauer der Erde. Auf dieser Zeitskala ist es vielleicht gar nicht so heikel. Dass sich das entwickelt hat, überrascht mich intuitiv trotzdem. Ich würde wahrscheinlich einfach tierähnliche Lebensformen erwarten, die tierähnliche Dinge tun. Dass man etwas bekommen kann, das Kultur und Wissen erschafft und akkumuliert, überrascht mich.

Dwarkesh Patel 01:34:42

Daraus ergeben sich ein paar interessante Anschlussfragen. Wenn man Suttons Sichtweise übernimmt, dann ist der Kern von Intelligenz tierische Intelligenz ... Ein Zitat von ihm war: „Wenn man beim Eichhörnchen angekommen ist, hat man den Großteil von AGI schon erreicht.“

Wir haben die Intelligenz eines Eichhörnchens kurz nach der kambrischen Explosion vor 600 Millionen Jahren erreicht. Ausgelöst wurde das offenbar durch das Große Oxidationsereignis vor 600 Millionen Jahren. Aber die Intelligenz-Algorithmen waren offenbar sofort da, um Eichhörnchen-Intelligenz hervorzubringen. Das deutet darauf hin, dass tierische Intelligenz nicht so schwer war. Sobald Sauerstoff in der Umwelt vorhanden war, hatten wir Eukaryoten, und man konnte den Algorithmus ziemlich direkt bekommen. Es könnte natürlich ein Zufall gewesen sein, dass die Evolution so schnell darauf gestoßen ist, aber ich weiß nicht, ob das darauf hindeutet, dass es am Ende ziemlich einfach sein könnte.

Andrej Karpathy 01:35:31

Bei all diesen Dingen ist es einfach zu schwer, etwas Sicheres zu sagen. Man kann sich ein wenig daran orientieren, wie lange etwas existiert hat oder wie lange etwas wie ein Flaschenhals gewirkt zu haben scheint. Nick Lane ist sehr gut darin, diesen sehr offensichtlichen Flaschenhals bei Bakterien und Archaeen zu erklären. Zwei Milliarden Jahre lang ist nichts passiert. Es gibt eine extreme Vielfalt der Biochemie, aber nichts wächst zu Tieren heran. Zwei Milliarden Jahre.

Wie Sie sagen, weiß ich nicht, ob wir bei Tieren und Intelligenz genau so etwas Entsprechendes sehen. Wir können auch betrachten, wie oft wir glauben, dass eine bestimmte Form von Intelligenz unabhängig entstanden ist.

Dwarkesh Patel 01:36:07

Das wäre wirklich eine großartige Sache, die man untersuchen sollte.

Andrej Karpathy 01:36:09

Ein Gedanke dazu. Es gibt die Hominiden-Intelligenz, und dann gibt es Vogelintelligenz. Krähen und so weiter sind extrem klug, aber ihre Gehirnregionen sind ziemlich unterschiedlich, und wir haben nicht so viele Gemeinsamkeiten. Das ist ein gewisser Hinweis darauf, dass Intelligenz mehrfach entstanden ist. In so einem Fall würde man erwarten, dass sie häufiger vorkommt.

Dwarkesh Patel 01:36:32

Frühere Gäste, Gwern und Carl Shulman, haben dazu einen wirklich interessanten Punkt gemacht. Ihre Sichtweise ist, dass der skalierbare Algorithmus, den Menschen haben und Primaten haben, auch bei Vögeln entstanden ist und vielleicht auch noch zu anderen Zeiten. Aber Menschen haben eine evolutionäre Nische gefunden, in der sie auch die Grenzzunahmen von Intelligenz belohnen und diese Zunahme an Intelligenz erreichen konnten.

Wenn Vögel zum Beispiel größere Gehirne hätten, würden sie einfach vom Himmel fallen. Sie sind im Verhältnis zu ihrer Gehirngröße sehr intelligent, aber sie befinden sich nicht in einer Nische, die ein weiteres Wachstum des Gehirns kompensiert. Vielleicht sehr intelligente ... könnte ähnlich sein.

Andrej Karpathy 01:37:28

So etwas wie Delfine?

Dwarkesh Patel 01:37:28

Genau, Menschen — wir haben Hände, die belohnen, dass wir lernen, Werkzeuge zu benutzen. Wir können die Verdauung externalisieren und mehr Energie ins Gehirn leiten, und das setzt das Schwungrad in Gang.

Andrej Karpathy 01:38:02

an denen man arbeiten kann. Wenn ich ein Delfin wäre, wäre es, glaube ich, schwieriger. Wie macht man Feuer? Unter Wasser, also in einer Wasserumgebung, ist der Kosmos dessen, was man tun kann, chemisch vermutlich kleiner als an Land.

Ich stimme dieser Sicht auf solche Nischen und darauf, was überhaupt anreizkompatibel ist, zu. Ich finde es immer noch wundersam. Man hätte erwartet, dass es bei Tieren mit größerer Muskelmasse irgendwo ins Stocken gerät. Dass es ausgerechnet über Intelligenz geht, ist ein wirklich faszinierender Wendepunkt.

Dwarkesh Patel 01:38:28

Gwern hat es so formuliert: Der Grund, warum das so schwierig war, liegt darin, dass die Grenze extrem schmal ist zwischen Dingen, bei denen Lernen so wichtig ist, dass es sich nicht lohnt, die exakt richtigen Schaltkreise direkt wieder in die DNA zu destillieren, und Dingen, die überhaupt nicht wichtig genug sind, um sie zu lernen. Es muss etwas sein, das Anreize schafft, einen Algorithmus zu bauen, der ein Leben lang lernt.

Andrej Karpathy 01:38:55

Man muss eine Art Anpassungsfähigkeit anreizen. Man will eine unvorhersehbare Umgebung, sodass die Evolution den Algorithmus nicht einfach in die Gewichte einbrennen kann. Viele Tiere sind in diesem Sinne im Voraus verdrahtet. Menschen müssen bei der Geburt zur Testzeit erst herausfinden, was funktioniert. Man will eine Umgebung, die sich wirklich schnell verändert, in der man nicht vorhersehen kann, was gut funktionieren wird. Dann erzeugt man Intelligenz, um das zur Testzeit herauszufinden.

Dwarkesh Patel 01:39:28

Es gab einen interessanten Blogbeitrag, in dem Quintin Pope sagt, dass er keinen abrupten Sprung erwartet, gerade weil Menschen einen abrupten Sprung hatten. Vor 60.000 Jahren hatten wir anscheinend schon die kognitive Architektur, die wir heute haben. Vor 10.000 Jahren dann die neolithische Revolution, Modernität. Was ist in diesen 50.000 Jahren passiert? Wir mussten dieses kulturelle Gerüst aufbauen, mit dem sich Wissen über Generationen hinweg akkumulieren lässt.

Das ist eine Fähigkeit, die in der Art, wie wir AI trainieren, gewissermaßen kostenlos vorhanden ist. In vielen Fällen wird sie buchstäblich destilliert. Wenn man das Modell neu trainiert, kann es auf anderen trainiert werden, es kann auf demselben Vortrainingskorpus trainiert werden, und man muss nicht buchstäblich wieder ganz von vorn anfangen. Es hat bei Menschen lange gedauert, bis diese kulturelle Schleife in Gang kam, aber bei der Art, wie wir LLMs trainieren, fühlt es sich so an, als bekäme man das einfach gratis dazu.

Andrej Karpathy 01:39:45

Ja und nein. Denn LLMs haben tatsächlich kein echtes Äquivalent zu Kultur. Vielleicht geben wir ihnen schon zu viel und schaffen damit Anreize, das gar nicht erst aufzubauen oder so. Aber die Erfindung von Kultur, die Erfindung schriftlicher Aufzeichnungen und das Weiterreichen von Notizen untereinander — ich glaube nicht, dass es bei heutigen LLMs dafür ein Äquivalent gibt. Ich würde sagen, LLMs haben derzeit tatsächlich keine Kultur, und das ist eines der Hindernisse.

Dwarkesh Patel 01:40:05

Können Sie ein Gefühl dafür geben, wie LLM-Kultur aussehen würde?

Andrej Karpathy 01:40:09

Im einfachsten Fall wäre das ein riesiges Scratchpad, das LLMs bearbeiten können. Wenn es etwas liest oder bei einer Aufgabe hilft, editiert es dieses Scratchpad für sich selbst. Warum sollte ein LLM nicht Bücher für andere LLMs schreiben können? Das wäre cool. Warum sollten andere LLMs nicht die Bücher dieses LLMs lesen und davon inspiriert oder schockiert werden oder solche Dinge erleben können? Für all das gibt es derzeit kein Äquivalent.

Dwarkesh Patel 01:40:29

Spannend. Wann erwarten Sie, dass so etwas anfängt zu passieren? Und außerdem: Was ist mit Multi-Agenten-Systemen und einer Art eigenständiger AI-Zivilisation und Kultur?

Andrej Karpathy 01:40:40

Im Bereich Multi-Agenten gibt es zwei starke Ideen, aber für keine von beiden wurde bisher wirklich überzeugend argumentiert. Die erste ist eben Kultur und dass LLMs ein wachsendes Repertoire an Wissen für ihre eigenen Zwecke haben.

Die zweite ähnelt viel stärker der mächtigen Idee des Self-Play. Meiner Meinung nach ist das extrem stark. In der Evolution gibt es viel Wettbewerb, der Intelligenz und Evolution vorantreibt. Algorithmischer sieht man das bei AlphaGo: AlphaGo spielt gegen sich selbst, und so lernt es, wie man Go wirklich gut spielt. Es gibt kein Äquivalent dazu bei LLMs, die gegen sich selbst spielen, aber ich erwarte, dass es so etwas geben wird. Bisher hat es nur noch niemand gemacht. Warum sollte ein LLM zum Beispiel nicht viele Probleme erzeugen können, deren Lösung andere LLMs lernen? Dann würden LLMs ständig versuchen, immer schwierigere Probleme bereitzustellen, und solche Dinge.

Es gibt viele Möglichkeiten, das zu organisieren. Das ist ein Forschungsfeld, aber ich habe noch nicht gesehen, dass jemand diese beiden Multi-Agenten-Verbesserungen überzeugend vertreten hätte. Wir befinden uns größtenteils noch im Bereich einzelner, isolierter Agenten, aber das wird sich ändern. Beim Kulturthema würde ich auch Organisationen einbeziehen. Auch das habe ich noch nicht überzeugend gesehen. Deshalb sind wir immer noch so früh dran.

Dwarkesh Patel 01:41:53

Können Sie den zentralen Engpass benennen, der diese Art von Zusammenarbeit zwischen LLMs blockiert?

Andrej Karpathy 01:41:59

Vielleicht würde ich es so ausdrücken: Einige dieser Analogien sollten funktionieren und andere nicht, aber irgendwie funktionieren sie erstaunlicherweise doch. Viele der kleineren oder dümmeren Modelle ähneln erstaunlicherweise Kindergartenkindern, Grundschülern oder Highschool-Schülern. Irgendwie haben wir immer noch nicht genug abgeschlossen, damit diese Dinge übernehmen könnten. Mein Claude Code oder Codex, die fühlen sich immer noch wie Kinder in den ersten Grundschuljahren an. Ich weiß, dass sie Prüfungsfragen auf Doktorandenniveau lösen können, aber kognitiv fühlen sie sich immer noch wie Kindergartenkinder oder Grundschüler an.

Ich glaube nicht, dass sie Kultur schaffen können, weil sie immer noch Kinder sind. Es sind Wunderkinder. Sie haben perfektes Gedächtnis für all das. Sie können alle möglichen Arten von Slop, der wirklich gut aussieht, überzeugend erzeugen. Aber ich glaube trotzdem, dass sie eigentlich nicht wirklich verstehen, was sie tun, und dass sie über all diese kleinen Kontrollkästchen hinweg, die wir noch einsammeln müssen, noch keine echte Kognition haben.

01:42:55 Warum autonomes Fahren so lange gedauert hat

Dwarkesh Patel 01:42:55

Sie haben erzählt, dass Sie bei Tesla von 2017 bis 2022 autonomes Fahren geleitet haben. Und Sie haben diesen Fortschritt aus erster Hand gesehen: von coolen Demos bis hin dazu, dass heute Tausende Autos tatsächlich autonom fahren. Warum hat das 10 Jahre gedauert? Was ist in dieser Zeit passiert?

Andrej Karpathy 01:43:11

Einer Sache würde ich fast sofort widersprechen: dass das auch nur annähernd fertig sei. In vielerlei Hinsicht, auf die ich noch eingehen werde. Autonomes Fahren ist sehr interessant, weil ich dort definitiv viele meiner Intuitionen herhabe — einfach weil ich fünf Jahre damit verbracht habe. Es gibt eine ganze Geschichte des autonomen Fahrens, bei der die erste Demo bis in die 1980er zurückreicht. Man kann sich die CMU-Demo von 1986 anschauen. Da fährt ein Truck selbstständig auf der Straße.

Schneller Vorlauf. Als ich zu Tesla kam, hatte ich eine sehr frühe Demo von Waymo erlebt. Im Grunde gab sie mir schon 2014 oder so, also vor ungefähr 10 Jahren, eine perfekte Fahrt. Also eine perfekte Waymo-Fahrt vor 10 Jahren. Das war, weil ich einen Freund dort hatte, der mich in Palo Alto herumgefahren hat. Ich dachte, wir wären schon sehr nah dran, und trotzdem hat es dann noch sehr lange gedauert.

Für manche Arten von Aufgaben und Jobs gibt es eine sehr große Demo-Produkt-Lücke: Demos sind sehr leicht, aber Produkte sind sehr schwer. Das gilt besonders für autonomes Fahren, wo die Kosten des Scheiterns so hoch sind. Viele Branchen, Aufgaben und Jobs haben diese Eigenschaft wahrscheinlich nicht, aber wenn sie sie haben, verlängert das die Zeitleiste ganz erheblich.

Zum Beispiel glaube ich, dass es diese Eigenschaft im Software Engineering gibt. Für vieles von dem, was man als Vibe Coding bezeichnet, gilt das nicht. Aber wenn man tatsächlich produktionsreifen Code schreibt, dann muss diese Eigenschaft vorhanden sein. Denn jede Art von Fehler kann zu Sicherheitslücken oder Ähnlichem führen. Dann werden die persönlichen Identifikationsnummern von Millionen oder Hunderten Millionen Menschen offengelegt oder so etwas. Deshalb müssen die Menschen in der Softwareentwicklung vorsichtig sein, so wie beim autonomen Fahren. Wenn beim autonomen Fahren etwas schiefgeht, kann es zu Verletzungen kommen. Es gibt noch schlimmere Folgen. Aber in der Software ist das nahezu unbegrenzt. Wie schrecklich etwas werden kann.

Ich denke, dass sie diese Eigenschaft gemeinsam haben. Dass es lange dauert, und die Art, darüber nachzudenken, ist, dass es um einen Marsch der Neunen geht. Jede einzelne Neun ist eine bestimmte Menge Arbeit. Jede einzelne Neun ist dieselbe Menge Arbeit. Eine Demo zu bekommen, bei der etwas zu 90 % der Zeit funktioniert, das ist nur die erste Neun. Dann braucht man die zweite Neun, die dritte Neun, die vierte Neun, die fünfte Neun. Als ich etwa fünf Jahre bei Tesla war, haben wir wahrscheinlich drei Neunen oder zwei Neunen geschafft. Ich weiß nicht genau, was es war, aber mehrere Neunen durch Iteration. Und es werden immer noch mehr Neunen benötigt.

Deshalb dauert so etwas so lange. Das war für mich definitiv prägend, etwas zu sehen, das nur eine Demo war. Von Demos bin ich nur sehr schwer beeindruckt. Jedes Mal, wenn ich eine Demo von irgendetwas sehe, bin ich extrem wenig beeindruckt. Wenn es eine Demo ist, die jemand extra zum Vorführen gebaut hat, ist es noch schlimmer. Wenn ich damit interagieren kann, ist es etwas besser. Aber selbst dann ist es noch nicht fertig. Man braucht ein echtes Produkt. Sobald es mit der Realität in Berührung kommt, steht es all diesen Herausforderungen gegenüber, und es gibt all diese verschiedenen Ecken des Verhaltens, die gepatcht werden müssen.

Wir werden sehen, wie sich das alles entfaltet. Es ist der Marsch der Neunen. Jede Neun ist konstant. Demos sind ermutigend. Trotzdem ist noch eine enorme Menge Arbeit nötig. Wenn es sich nicht um Vibe Coding handelt, ist es eine sicherheitskritische Domäne, und das ist alles schön und gut und macht Spaß. Das ist aus dieser Perspektive auch der Grund, warum es meinen Zeithorizont zusätzlich bestätigt hat.

Dwarkesh Patel 01:46:25

Das zu hören ist sehr interessant. Dass Sie sagen, die Sicherheitsgarantien, die man in der Software braucht, seien gar nicht so anders als beim autonomen Fahren. Oft heißt es ja, dass autonomes Fahren so lange gedauert hat, weil die Kosten eines Fehlers so hoch sind. Menschen machen im Durchschnitt alle 400.000 Meilen oder alle sieben Jahre einen Fehler. Wenn man einen Coding-Agenten veröffentlichen müsste, der zumindest sieben Jahre lang keinen Fehler machen darf, wäre er sehr viel schwerer auszurollen.

Aber Ihr Punkt ist: Wenn er einen schwerwiegenden Coding-Fehler macht, dann ist das so, als würde er alle sieben Jahre ein wichtiges System zerstören ...

Andrej Karpathy 01:46:56

Das ist sehr leicht.

Dwarkesh Patel 01:46:57

Tatsächlich wäre das in Bezug auf die reale Zeit sogar viel weniger als sieben Jahre. Denn er produziert ja kontinuierlich Code auf diese Weise. In Token gerechnet wären es sieben Jahre. Aber in realer Zeit ...

Andrej Karpathy 01:47:09

In gewisser Hinsicht ist das ein viel schwierigeres Problem. Autonomes Fahren ist nur eines von Tausenden Dingen, die Menschen tun. Es ist fast wie eine einzelne Vertikale, würde ich sagen. Wenn man dagegen über allgemeines Software Engineering spricht, dann ist das viel ... die Oberfläche ist viel größer.

Dwarkesh Patel 01:47:20

Es gibt noch einen anderen Einwand, den Leute gegen diese Analogie vorbringen: Beim autonomen Fahren ging ein großer Teil der Zeit dafür drauf, das Problem robuster grundlegender Wahrnehmung zu lösen, Repräsentationen aufzubauen und Modelle mit einer Art gesundem Menschenverstand zu haben, die generalisieren können, wenn sie etwas sehen, das ein wenig außerhalb der Verteilung liegt. Wenn jemand auf der Straße so mit der Hand winkt, muss man nicht genau dafür trainiert haben. Das System wird irgendein Verständnis dafür haben, wie es auf so etwas reagieren soll.

Das sind Dinge, die man heute mit LLMs oder VLMs quasi gratis bekommt, und deshalb muss man diese sehr grundlegenden Repräsentationsprobleme nicht lösen. Deshalb wäre es jetzt so, AI über andere Domänen hinweg auszurollen, wie ein autonomes Auto mit den aktuellen Modellen in einer anderen Stadt auszurollen — das ist schwierig, aber keine Aufgabe von zehn Jahren.

Andrej Karpathy 01:48:07

Ich bin mir nicht zu 100 % sicher, ob ich dem vollständig zustimme. Ich weiß nicht, wie viel wir wirklich gratis bekommen. Es gibt immer noch viele Lücken darin, zu verstehen, was wir überhaupt bekommen. Wir bekommen ganz sicher aus einer einzigen Entität heraus besser generalisierbare Intelligenz. Autonomes Fahren dagegen ist eine sehr spezialisierte Aufgabe. In gewisser Weise ist es wahrscheinlich viel schwieriger, eine spezialisierte Aufgabe aufzubauen. Denn sie ergibt sich nicht aus etwas Allgemeinerem, das im großen Maßstab gemacht wird, falls das Sinn ergibt.

Aber die Analogie trägt trotzdem nicht vollständig. Denn LLMs machen immer noch ziemlich viele Fehler und haben viele Lücken, die geschlossen werden müssen. Ich glaube nicht, dass wir in irgendeinem bestimmten Sinn bereits magische Generalisierung out of the box bekommen.

Der andere Aspekt, auf den ich zurückkommen wollte, ist, dass autonome Autos noch längst nicht annähernd fertig sind. Die Deployments sind ziemlich minimal. Selbst Waymo hat nur sehr wenige Autos. Ganz grob gesagt vermute ich, dass der Grund dafür ist, dass es wirtschaftlich nicht tragfähig ist. Sie haben etwas gebaut, das in der Zukunft lebt. Sie mussten die Zukunft nach vorne ziehen, aber sie mussten es unwirtschaftlich bauen. Nicht nur die Grenzkosten dieser Autos sowie ihres Betriebs und ihrer Wartung — auch die gesamten Investitionsausgaben, all diese Kosten kommen dazu. Das wirtschaftlich tragfähig zu machen, wird für sie immer noch mühsam sein.

Außerdem sieht man diese Autos und niemand sitzt am Steuer, aber ich denke tatsächlich, dass das ein bisschen irreführend ist. Denn es gibt sehr ausgefeilte Teleoperationszentren, in denen Menschen auf irgendeine Weise in den Loop dieser Autos eingebunden sind. Ich habe nicht das vollständige Bild, aber es gibt mehr Human-in-the-Loop, als man erwarten würde. Irgendwo sitzen Leute, die aus dem Himmel hereingebeamt werden. Ich weiß nicht, ob sie vollständig im Fahrprozess drin sind. Manchmal sind sie es, aber sie sind auf jeden Fall beteiligt, und es gibt Menschen. In gewisser Weise haben wir den Menschen also nicht wirklich entfernt, wir haben ihn nur an einen Ort verlagert, den man nicht sehen kann.

Ich glaube weiterhin, dass noch einiges an Arbeit nötig sein wird, um autonomes Fahren wirklich zu schaffen. Aber was Sie erwähnt haben, nämlich der Wechsel von einer Umgebung in eine andere — da stimme ich zu. Es gibt immer noch Herausforderungen, um autonomes Fahren wirklich zu schaffen. Aber ich stimme zu, dass es ganz sicher die Schwelle überschritten hat, ab der es sich echt anfühlt — außer wenn es in Wirklichkeit ferngesteuert wird. Zum Beispiel kann Waymo nicht in alle Teile einer Stadt fahren. Mein Verdacht ist, dass das die Teile der Stadt sind, in denen sie kein gutes Signal bekommen. Aber wie auch immer, ich weiß nichts über den Stack. Ich denke mir das nur aus.

Dwarkesh Patel 01:50:23

Sie haben fünf Jahre lang das autonome Fahren bei Tesla geleitet.

Andrej Karpathy 01:50:27

Entschuldigung, ich weiß nichts über die Details von Waymo. Ich liebe Waymo übrigens und fahre immer damit. Ich denke nur, dass Menschen manchmal etwas zu naiv über den Fortschritt sind und dass noch eine enorme Menge Arbeit vor uns liegt. Tesla verfolgt meiner Meinung nach einen viel skalierbareren Ansatz, und das Team macht das extrem gut. Ich habe mich schon festgelegt, wie ich glaube, dass sich das entwickeln wird. Waymo hatte einen frühen Start, weil sie viele Sensoren verbauen konnten. Aber ich denke, Tesla verfolgt die skalierbarere Strategie, und am Ende wird es viel eher so aussehen. Das muss sich also immer noch entfalten, und das ist noch nicht passiert. Aber ich möchte nicht über autonomes Fahren als etwas sprechen, das zehn Jahre gedauert hat. Denn es hat ja noch nicht einmal so lange gedauert, wenn das Sinn ergibt.

Dwarkesh Patel 01:51:08

Erstens, weil der Anfang 1980 liegt und nicht vor zehn Jahren, und zweitens, weil das Ende noch nicht da ist.

Andrej Karpathy 01:51:14

Das Ende ist noch nicht einmal nah. Denn wenn wir über autonomes Fahren sprechen, meinen wir normalerweise, denke ich, autonomes Fahren im großen Maßstab. Dass Menschen keinen Führerschein mehr brauchen und so weiter.

Dwarkesh Patel 01:51:22

Ich möchte zwei verschiedene Arten von Analogien vorschlagen. Der Grund, warum diese Frage besonders interessant ist, ist, dass sie potenziell die wichtigste Frage der Welt im Moment ist: Wie schnell wird KI ausgerollt, und wie wertvoll ist sie am Anfang? Wenn man modellieren will, wie 2030 aussehen wird, ist das eine Frage, die man bis zu einem gewissen Grad verstehen muss.

Ein weiterer Punkt ist erstens, dass autonomes Fahren Latenzanforderungen hat. Ich weiß überhaupt nicht, wie die tatsächlichen Modelle aussehen, aber nehmen wir an, es sind so etwas wie zig Millionen Parameter. Das ist keine Einschränkung, die man für Wissensarbeit mit LLMs braucht. Bei Computernutzung und solchen Dingen vielleicht schon.

Aber der andere große Punkt, wahrscheinlich der wichtigere, ist diese Frage der Kapitalausgaben. Ja, es gibt zusätzliche Kosten, um zusätzliche Kopien des Modells bereitzustellen, aber die Betriebskosten pro Sitzung sind ziemlich niedrig, und je nachdem, wie Inference-Scaling verläuft und so weiter, kann man die Kosten von KI über den Trainingslauf selbst amortisieren. Aber es ist definitiv nicht so, als müsste man ein komplett neues Auto bauen, nur um eine weitere Instanz des Modells bereitzustellen. Deshalb ist die Ökonomie einer breiteren Ausrollung viel günstiger.

Andrej Karpathy 01:52:37

Ich denke, das stimmt. Wenn man im Bereich der Bits bleibt, sind Bits millionenfach einfacher als Dinge, die die physische Welt berühren. Das räume ich auf jeden Fall ein. Bits sind vollständig veränderbar und lassen sich mit sehr hoher Geschwindigkeit beliebig neu anordnen. Auch in der Industrie würde ich eine viel schnellere Anpassung erwarten. Was war der erste Punkt noch mal?

Dwarkesh Patel 01:52:59

Die Latenzanforderungen und was das für die Modellgröße impliziert?

Andrej Karpathy 01:53:02

Ich denke, das stimmt ungefähr. Außerdem glaube ich, dass es in der Praxis gewisse Latenzanforderungen geben wird, wenn wir über Wissensarbeit im großen Maßstab sprechen. Denn man muss enorme Mengen an Compute aufbauen und bereitstellen.

Der letzte Aspekt, über den ich noch ganz kurz sprechen möchte, ist alles andere. Wie denkt die Gesellschaft darüber? Was sind die rechtlichen Auswirkungen? Wie funktioniert das rechtlich? Wie funktioniert es aus Sicht von Versicherungen? Was sind all diese Schichten und Aspekte davon? Was ist das Äquivalent zu den Leuten, die einen Kegel auf einen Waymo setzen? Es wird Äquivalente zu all diesen Dingen geben. Deshalb finde ich, dass autonomes Fahren eine sehr gute Analogie ist, von der man sich Dinge leihen kann. Was ist das Äquivalent zum Kegel im Auto? Was ist das Äquivalent zum versteckten Teleoperator, und all diese Aspekte davon?

Dwarkesh Patel 01:53:53

Was halten Sie vom aktuellen KI-Aufbau? In ein oder zwei Jahren werden wir das weltweit verfügbare Compute verzehnfachen, und bis zum Ende des Jahrzehnts um mehr als das Hundertfache steigern. Wenn die Nutzung von KI geringer ausfällt, als manche Leute naiv vorhersagen, bedeutet das dann, dass wir zu viel Compute aufbauen, oder ist das eine separate Frage?

Andrej Karpathy 01:54:15

So etwas wie das, was bei den Eisenbahnen passiert ist.

Dwarkesh Patel 01:54:18

Wie bitte, Entschuldigung?

Andrej Karpathy 01:54:19

Waren es die Eisenbahnen, oder?

Dwarkesh Patel 01:54:20

Ja, genau.

Andrej Karpathy 01:54:21

Ja. Es gibt historische Präzedenzfälle. Oder war es die Telekommunikationsindustrie? Das Internet wurde zehn Jahre im Voraus verpackt, und Ende der 90er entstand die gesamte Blase in der Telekommunikationsindustrie.

Ich verstehe, dass ich hier sehr pessimistisch klinge. Tatsächlich bin ich optimistisch. Ich denke, das wird funktionieren. Ich denke, es ist beherrschbar. Der einzige Grund, warum ich pessimistisch klinge, ist, dass ich auf meiner Twitter-Timeline all diese Dinge sehe, die für mich keinen Sinn ergeben. Dafür gibt es viele Gründe. Ehrlich gesagt ist vieles einfach Finanzierung. Es ist die Anreizstruktur. Vieles davon kann Finanzierung sein. Vieles davon ist einfach Aufmerksamkeit, und Aufmerksamkeit im Internet in Geld umzuwandeln, solche Dinge. Es läuft eine Menge, und ich reagiere nur darauf.

Aber insgesamt bin ich gegenüber der Technologie immer noch sehr optimistisch. Wir werden all diese Dinge lösen. Es gab ein enormes Maß an Fortschritt. Ich weiß nicht, ob es Überkapazitäten gibt. Nach meinem Verständnis werden wir in der Lage sein, das zu verschlingen, was gerade aufgebaut wird. Dinge wie Claude Code oder OpenAI Codex zum Beispiel gab es vor einem Jahr noch nicht. Stimmt’s? Das sind wundersame Technologien, die vorher nicht existierten. Es wird enorme Nachfrage geben, wie man bereits bei ChatGPT und Ähnlichem sieht.

Deshalb weiß ich nicht, ob es Überkapazitäten gibt. Ich reagiere nur auf einige dieser sehr schnellen Timelines, bei denen die Leute einfach ständig danebenliegen. Ich arbeite seit 15 Jahren im KI-Bereich und habe oft gesehen, dass selbst sehr angesehene Leute bei dieser Frage falschliegen. Ich möchte, dass das richtig kalibriert wird, und ein Teil davon hat mit diesen Fragen auch geopolitische Auswirkungen und solche Dinge. Ich möchte nicht, dass Leute in diesem Bereich Fehler machen. Ich möchte, dass wir in der Realität dessen verankert sind, was diese Technologie ist und was sie nicht ist.

01:56:20 - Die Zukunft der Bildung

Dwarkesh Patel 01:56:20

Lassen Sie uns über Bildung und Eureka sprechen. Eine Sache, die Sie tun könnten, wäre, ein weiteres KI-Labor zu gründen und dann zu versuchen, diese Probleme zu lösen. Mich interessiert, was Sie jetzt tun und warum es nicht direkt KI-Forschung selbst ist.

Andrej Karpathy 01:56:33

So wie ich es ausdrücken würde: Ich empfinde eine gewisse Determiniertheit bei dem, was die KI-Labore tun. Ich habe das Gefühl, dass ich dort helfen könnte, bin mir aber nicht sicher, dass ich dort auf einzigartige Weise Verbesserungen erzielen würde. Meine große persönliche Angst ist, dass vieles davon auf der Seite der Menschheit passiert und die Menschheit dadurch entmachtet wird. Mir ist wichtig, was mit den Menschen passiert, nicht nur mit all den Dyson-Sphären, die wir bauen werden und die die KI auf völlig autonome Weise errichten wird. Ich möchte, dass es den Menschen in der Zukunft gut geht.

Ich habe das Gefühl, dass ich dort sehr viel einzigartiger Wert stiften kann als bei inkrementellen Verbesserungen in einem Frontier-Labor. Am meisten fürchte ich etwas, das so ist wie in Filmen wie WALL-E oder Idiocracy dargestellt. Einen Zustand, in dem die Menschheit am Rand all dieser Dinge steht. Ich möchte, dass Menschen in dieser Zukunft sehr, sehr viel besser dastehen. Für mich erreicht man das durch Bildung.

Dwarkesh Patel 01:57:35

Was machen Sie dort also?

Andrej Karpathy 01:57:36

Am einfachsten kann ich es so erklären, dass wir versuchen, die Starfleet Academy zu bauen. Ich weiß nicht, ob Sie Star Trek gesehen haben.

Dwarkesh Patel 01:57:44

Nein.

Andrej Karpathy 01:57:44

Die Starfleet Academy ist diese Eliteinstitution für Frontier-Technologie, den Bau von Raumschiffen und dafür, Kadetten auszubilden, die dann die Piloten dieser Raumschiffe werden. Ich stelle mir also einfach eine Eliteinstitution für technisches Wissen vor, eine Art Schule, die extrem aktuell und erstklassig ist.

Dwarkesh Patel 01:58:05

Die Art von Fragen, die ich an Sie habe, dreht sich darum, wie man technische oder wissenschaftliche Inhalte gut vermittelt. Denn Sie sind einer der absoluten Meister auf diesem Gebiet. Mich interessiert, was Sie über die Inhalte denken, die Sie bereits auf YouTube veröffentlicht haben, und auch über Eureka, und falls es sich unterscheidet, wie Sie darüber denken.

Andrej Karpathy 01:58:25

Was mich an Eureka und an Bildung insgesamt sehr fasziniert, ist, dass ich glaube, dass Bildung sich ziemlich grundlegend verändern wird, wenn KI mit im Spiel ist. Sie muss bis zu einem gewissen Grad neu verdrahtet und verändert werden.

Ich denke immer noch, dass wir ziemlich früh dran sind. Es wird viele Leute geben, die ein LLM haben und versuchen wollen, die offensichtlichen Dinge damit zu tun und Fragen zu stellen. Macht all die grundlegenden Dinge, die man jetzt per Prompting tun kann. Es ist hilfreich, aber für mich fühlt es sich immer noch ein bisschen nach Slop an. Ich möchte es richtig machen, und ich denke nicht, dass die Fähigkeiten für das, was ich will, schon da sind. Was ich will, ist eine echte Tutor-Erfahrung.

Das prägnanteste Beispiel in meinem Kopf ist, dass ich vor Kurzem Koreanisch gelernt habe. Also Sprachlernen. Ich habe eine Phase durchlaufen, in der ich Koreanisch allein im Internet gelernt habe. Ich habe eine Phase durchlaufen, in der ich Teil eines kleinen Kurses mit einer Gruppe anderer Leute war, die in Korea Koreanisch hörten, und das war wirklich lustig. Wir waren mit einer Lehrerin und ungefähr zehn Leuten da und hörten Koreanisch. Danach bin ich zu einem Eins-zu-eins-Tutor gewechselt.

Was ich faszinierend fand: Ich glaube, ich hatte eine wirklich gute Tutorin, und ich habe einfach darüber nachgedacht, was diese Tutorin für mich getan hat, wie erstaunlich diese Erfahrung war und wie hoch die Messlatte für das ist, was ich am Ende bauen möchte. Schon nach einem sehr kurzen Gespräch verstand sie sofort, wo ich als Schüler stand, was ich wusste und was ich nicht wusste. Sie konnte genau die Arten von Fragen oder Themen erkunden, die nötig waren, um mein Weltmodell zu verstehen. Kein LLM wird das im Moment für dich zu 100 % leisten, nicht einmal annähernd. Aber eine Tutorin kann das, wenn sie gut ist. Sobald sie das verstanden hatte, gab sie mir wirklich alles, was ich an meinem aktuellen Fähigkeitsniveau brauchte. Man sollte immer passend gefordert werden. Man darf weder mit etwas zu Schwerem noch mit etwas zu Trivialem konfrontiert werden, und eine Tutorin ist wirklich gut darin, dir genau das Richtige zu geben.

Ich hatte das Gefühl, dass die einzige Begrenzung beim Lernen ich selbst war. Perfekte Information wurde mir immer gegeben. Ich bin die einzige Begrenzung. Das fühlte sich gut an. Denn ich bin das einzige Hindernis, das existiert. Es ist nicht so, dass das Wissen nicht auffindbar wäre oder nicht richtig erklärt würde und so weiter. Es geht einfach um meine Fähigkeit, Dinge auswendig zu lernen, und solche Sachen. Das ist es, was ich für die Menschen will.

Dwarkesh Patel 02:00:27

Wie automatisiert man das?

Andrej Karpathy 02:00:29

Sehr gute Frage. Mit den aktuellen Fähigkeiten tut man das nicht. Deshalb glaube ich, dass es noch nicht der richtige Zeitpunkt ist, diese Art von AI-Tutor zu bauen. Ich denke, es ist immer noch ein nützliches Produkt, und viele Leute werden so etwas bauen, aber die Messlatte ist zu hoch und die Fähigkeiten sind noch nicht da. Auch heute würde ich sagen, dass ChatGPT ein extrem wertvolles Bildungsprodukt ist. Aber für mich war es unglaublich faszinierend zu sehen, wie hoch die Messlatte war, als ich mit ihr gearbeitet habe. Ich hatte fast das Gefühl, dass es keine Möglichkeit gibt, das zu bauen.

Dwarkesh Patel 02:01:02

Aber du baust es doch, oder?

Andrej Karpathy 02:01:03

Jeder, der schon einmal einen wirklich guten Tutor hatte, denkt sich: „Wie soll man das bauen?“ Ich warte auf diese Fähigkeit.

Ich habe AI-Beratung im Bereich Computer Vision gemacht. In vielen Fällen bestand der Wert, den ich einem Unternehmen gebracht habe, darin, ihnen zu sagen, dass sie keine AI verwenden sollen. Ich war der AI-Experte, sie erklärten das Problem, und ich sagte: „Verwendet keine AI.“ Das war mein Mehrwert. Im Bildungsbereich fühlt es sich im Moment ähnlich an. Für das, was ich im Kopf habe, ist die Zeit noch nicht reif, aber sie wird kommen. Im Moment baue ich etwas, das etwas traditioneller aussieht, mit physischen und digitalen Komponenten und so weiter. Aber wie das in Zukunft aussehen sollte, ist offensichtlich.

Dwarkesh Patel 02:01:43

So weit du darüber sprechen willst: Gibt es etwas, von dem du hoffst, dass es dieses oder nächstes Jahr erscheint?

Andrej Karpathy 02:01:49

Ich baue den ersten Kurs. Ich möchte einen wirklich, wirklich guten Kurs machen. Wirklich ein offensichtliches, hochmodernes Ziel, zu dem man geht, um etwas zu lernen — in diesem Fall AI. Damit kenne ich mich aus, deshalb ist das ein wirklich gutes erstes Produkt, um darin richtig gut zu werden. Daran arbeite ich also. Nanochat, das du kurz erwähnt hast, ist das Capstone-Projekt des Kurses LLM101N, den ich entwickle. Das ist ein wirklich großer Teil davon. Aber jetzt muss ich viele Zwischenschritte bauen, dann ein kleines Team von TAs einstellen und den ganzen Kurs aufbauen.

Eine weitere Sache, die ich sagen möchte: Wenn Menschen über Bildung nachdenken, denken sie in vielen Fällen eher an das, was ich als weichere Komponente der Wissensverbreitung bezeichnen würde. Ich habe etwas sehr Schwieriges und Technisches im Sinn. Ich denke, Bildung ist ein sehr schwieriger technischer Prozess, bei dem man eine Rampe zum Wissen baut. Ich denke, nanochat ist eine Rampe zum Wissen, weil es sehr einfach ist. Es ist der gesamte Stack, komplett vereinfacht. Wenn man jemandem dieses Artefakt gibt und er es durcharbeitet, lernt er eine enorme Menge. Ich liefere etwas, das ich als Eureka pro Sekunde bezeichne, also Verständnis pro Sekunde. Das ist es, was ich will: viele Eurekas pro Sekunde. Für mich ist das also ein technisches Problem: Wie bauen wir diese Rampe sehr effizient? So dass Menschen niemals stecken bleiben und nie alles entweder zu schwer oder zu trivial ist, sondern sie immer genau das richtige Material haben, um Fortschritte zu machen.

Dwarkesh Patel 02:03:25

Was du dir kurzfristig vorstellst, ist also: Statt dass der Tutor dein Verständnis erkunden kann, wirst du, wenn du genug Selbstwahrnehmung hast, um dich selbst zu erkunden, nie feststecken. Zwischen Gesprächen mit einem TA oder einem LLM und dem Blick auf eine Referenzimplementierung kannst du die richtige Antwort finden. Bisher scheint Automatisierung oder AI nicht der wichtige Teil zu sein. Bisher ist das große Alpha hier deine Fähigkeit, AI so zu erklären, dass sie als Quellmaterial des Kurses kodifiziert werden kann. Das ist im Grunde, was der Kurs ist.

Andrej Karpathy 02:04:00

Man muss sich immer an den Fähigkeiten orientieren, die in der Industrie gerade vorhanden sind. Viele Leute werden einfach verfolgen, ChatGPT zu fragen und solche Dinge. Aber wenn du jetzt zum Beispiel zu ChatGPT gehst und es bittest, dir AI beizubringen, dann geht das nicht. Es wird dir Slop geben. AI wird nanochat im Moment niemals schreiben. Aber nanochat ist ein wirklich nützlicher Zwischenpunkt. Ich arbeite mit AI zusammen, um all dieses Material zu erstellen, also ist AI immer noch grundlegend sehr hilfreich.

Früher habe ich in Stanford CS231n entwickelt, was, wie ich glaube, der erste Deep-Learning-Kurs in Stanford war, und er war sehr populär. Der Unterschied zwischen dem Aufbau von 231n damals und dem Aufbau von LLM101N heute ist ziemlich krass. Ich habe wirklich das Gefühl, dass ich durch LLMs, so wie sie jetzt existieren, dafür befähigt werde, aber ich bin sehr stark im Loop. Sie helfen beim Erstellen des Materials, und ich komme viel schneller voran. Sie übernehmen viele der langweiligen Dinge und so weiter. Ich habe das Gefühl, den Kurs viel schneller zu entwickeln, und er ist von LLMs durchdrungen, aber wir sind noch nicht an dem Punkt, an dem sie den Inhalt kreativ erschaffen können. Dafür bin immer noch ich da. Der knifflige Teil ist immer, sich auf das auszurichten, was tatsächlich existiert.

Dwarkesh Patel 02:05:04

Wenn man sich vorstellt, was in ein paar Jahren über Eureka verfügbar sein könnte, dann scheint der große Engpass zu sein, in jedem einzelnen Fachgebiet die Karpathys zu finden, die ihr Verständnis in solche Rampen verwandeln können.

Andrej Karpathy 02:05:18

Das wird sich mit der Zeit ändern. Im Moment wird es so sein, dass man Fakultätsmitglieder einstellt, die Hand in Hand mit AI und Teams von Menschen arbeiten. Vermutlich, um hochmoderne Kurse zu erstellen. Mit der Zeit könnten einige der TAs vielleicht AI sein. Ich denke, man könnte das gesamte Kursmaterial nehmen und dann einen sehr guten automatisierten TA für Studierende bereitstellen. Wenn sie grundlegendere Fragen haben oder so etwas. Aber für die Gesamtarchitektur des Kurses und um sicherzustellen, dass alles stimmt, wird man, glaube ich, Fakultätsmitglieder brauchen. So sehe ich den Verlauf, wie sich das entwickeln wird. Vielleicht bin ich zu irgendeinem Zeitpunkt in der Zukunft nicht mehr besonders nützlich, und AI macht den Großteil des Designs viel besser, als ich es könnte. Aber ich denke trotzdem, dass es noch Zeit brauchen wird, bis sich das entfaltet.

Dwarkesh Patel 02:05:59

Stellen Sie sich vor, dass Menschen mit Fachwissen aus anderen Bereichen Kurse beisteuern, oder haben Sie angesichts Ihres Verständnisses davon, wie Sie lehren möchten, das Gefühl, dass es für die Vision entscheidend ist, dass Sie die Inhalte selbst gestalten? So wie Sal Khan alle Videos der Khan Academy selbst vertont. Stellen Sie sich so etwas vor?

Andrej Karpathy 02:06:20

Nein, ich würde Lehrkräfte einstellen. Denn es gibt Fachgebiete, in denen ich kein Experte bin. Das ist letztlich die einzige Möglichkeit, den Studierenden eine Erfahrung auf dem neuesten Stand zu bieten. Ich gehe davon aus, dass ich Lehrkräfte einstellen werde, aber ich werde wahrscheinlich noch eine Weile bei AI bleiben. Ich habe dabei etwas Traditionelleres im Sinn, als die Leute angesichts der heutigen Fähigkeiten wahrscheinlich erwarten.

Wenn ich die Starfleet Academy aufbaue, stelle ich mir wahrscheinlich eine physische Institution vor und darunter als weitere Ebene ein digitales Angebot. Das ist nicht die hochmodernste Erfahrung, die man bekommt, wenn jemand physisch in Vollzeit kommt, wir das Material von Anfang bis Ende durcharbeiten und sicherstellen, dass du es verstehst. Das ist das physische Angebot. Das digitale Angebot sind viele Dinge aus dem Internet und wahrscheinlich irgendein LLM-Assistent. Das ist etwas gimmickhafter und eine Ebene darunter, aber dafür zumindest für 8 Milliarden Menschen zugänglich.

Dwarkesh Patel 02:07:08

Im Grunde scheinen Sie für die heute verfügbaren Werkzeuge die Universität von Grund auf neu zu erfinden und Menschen auszuwählen, die wirklich die Motivation und das Interesse haben, sich ernsthaft mit dem Stoff auseinanderzusetzen.

Andrej Karpathy 02:07:26

Es wird nicht nur Bildung geben müssen, sondern auch viel Umschulung. Dabei möchte ich helfen. Denn Jobs werden sich wahrscheinlich ziemlich stark verändern. Heute versuchen zum Beispiel viele Menschen, besonders im Bereich AI, ihre Fähigkeiten auszubauen. Ich denke, dafür ist das ein wirklich guter Kurs. Was die Motivation angeht, ist die Motivation vor AGI sehr einfach zu lösen. Denn die Leute wollen Geld verdienen. So verdient man heute in der Industrie Geld. Nach AGI könnte es viel interessanter werden. Denn wenn alles automatisiert ist und niemand mehr etwas zu tun hat, warum sollte dann noch jemand zur Schule gehen?

Ich sage oft: Bildung vor AGI ist nützlich. Bildung nach AGI macht Spaß. Ähnlich wie Menschen heute ins Fitnessstudio gehen. Wir brauchen ihre körperliche Kraft nicht, um schwere Gegenstände zu bewegen, denn dafür haben wir Maschinen. Trotzdem gehen sie ins Fitnessstudio. Warum? Weil es Spaß macht, gesund ist und man mit Bauchmuskeln gut aussieht. Das ist für Menschen attraktiv. In einem sehr tiefen, psychologischen, evolutionären Sinn für die Menschheit. Genauso wird sich Bildung entwickeln. Man wird so zur Schule gehen, wie man ins Fitnessstudio geht.

Im Moment lernen viele Menschen nicht, weil Lernen schwer ist. Sie prallen am Material ab. Manche überwinden diese Hürde, aber für die meisten ist es schwer. Das ist ein technisches Problem, das sich lösen lässt. Was mein Tutor für mich getan hat, als ich Koreanisch gelernt habe, ist ein technisches Problem, das sich lösen lässt. Es ist handhabbar, es ist baubar, und jemand muss es bauen. Das würde es trivial und wünschenswert machen, irgendetwas zu lernen, und die Menschen würden es zum Spaß tun. Gerade weil es trivial ist. Wenn man für irgendein beliebiges Wissensgebiet so einen Tutor hätte, wäre es viel einfacher, alles Mögliche zu lernen, und die Menschen würden es tun. Aus demselben Grund, aus dem sie ins Fitnessstudio gehen.

Dwarkesh Patel 02:09:17

Das klingt anders ... Also nach AGI nutzt man das zur Unterhaltung oder zur Selbstverbesserung. Aber es klang auch so, als hätten Sie die Vision, dass diese Bildung damit zu tun hat, dass die Menschheit die Kontrolle über AI behält. Das klingt anders. Ist es für manche Menschen Unterhaltung, für andere Ermächtigung? Wie sehen Sie das?

Andrej Karpathy 02:09:41

Ich denke, das ist am Ende ein bisschen ein Verliererspiel, wenn das Sinn ergibt. Langfristig schon. Wahrscheinlich in einem längeren Zeithorizont, als die meisten Menschen in der Branche annehmen, aber langfristig ist es ein Verliererspiel. Die Leute glauben, man könne damit ziemlich weit kommen, und wir haben kaum an der Oberfläche dessen gekratzt, wie weit Menschen kommen können. Das liegt einfach daran, dass Menschen an Stoff abprallen, der entweder zu leicht oder zu schwer ist. Die Menschen werden sehr viel weiter kommen können. Jeder wird fünf Sprachen sprechen, denn warum nicht? Es wird zu trivial sein. Jeder wird den gesamten grundlegenden Undergraduate-Lehrplan kennen und so weiter.

Dwarkesh Patel 02:10:18

Jetzt verstehe ich die Vision, und sie ist wirklich spannend. Die Fitnessstudio-Kultur ist eine perfekte Analogie. Ich glaube nicht, dass vor 100 Jahren irgendjemand muskulös war. Niemand hätte freiwillig zwei oder drei Scheiben beim Bankdrücken gehoben. Heute ist das sehr verbreitet, wegen dieser Idee des systematischen Trainings, des Gewichthebens im Fitnessstudio oder des systematischen Trainings, um einen Marathon laufen zu können. Das sind Fähigkeiten, die die meisten Menschen nicht spontan haben. Sie stellen sich also etwas Ähnliches für Lernen in vielen verschiedenen Bereichen vor, nur viel intensiver, tiefer und schneller.

Andrej Karpathy 02:10:54

Genau. Ich wette ein wenig auf die Beständigkeit der menschlichen Natur. Ich glaube, dass all diese Dinge erstrebenswert sein werden und dass die Menschen sie bewundern werden, so wie sie es seit Tausenden von Jahren getan haben. Das wird weiterhin wahr sein. Historisch gibt es dafür einige Hinweise. Wenn man sich zum Beispiel den Adel anschaut oder das antike Griechenland oder Ähnliches, dann sieht man, dass Menschen immer dann, wenn es kleine Nischenumgebungen gab, die in gewissem Sinne post-AGI waren, viel Zeit darauf verwendet haben, körperlich und kognitiv auf bestimmte Weise aufzublühen. Ich fühle mich in Bezug auf diese Aussicht ganz gut.

Wenn das falsch ist, wenn ich mich irre und wir in einer WALL-E- oder Idiocracy-Zukunft landen, dann ist es mir auch egal, ob es Dyson-Sphären gibt. Das wäre ein schreckliches Ergebnis. Mir liegt die Menschheit wirklich am Herzen. Jeder muss in gewissem Sinne übermenschlich sein.

Dwarkesh Patel 02:11:52

Das ist trotzdem ... Das ist im Grunde so etwas wie eine Kulturwelt, oder? Sie meinen im Grunde eine Welt, in der wir die technologische Entwicklung nicht mehr durch unsere eigene Arbeit oder Kognition verändern oder Entscheidungen beeinflussen können. Vielleicht können wir Entscheidungen beeinflussen, weil AI uns um Zustimmung bittet, aber ich beeinflusse die Zukunft nicht wirklich mehr, weil ich etwas erfunden oder mir ein neues Design ausgedacht habe.

Andrej Karpathy 02:12:21

Vielleicht. Ich denke, es wird eine Übergangsphase geben, in der wir, wenn wir viele Dinge verstehen, noch im Loop sind und Dinge voranbringen können. Langfristig wird das wahrscheinlich verschwinden. Sport könnte zu einer Art Powerlifting des kognitiven Zeitalters werden. Vielleicht gibt es dann Leute, die es wirklich auf die Spitze treiben und eine Art Olympiade daraus machen, Dinge tatsächlich zu wissen. Mit einem perfekten AI-Tutor könnte man wahrscheinlich extrem weit kommen. Ich habe das Gefühl, dass die heutigen Genies kaum an der Oberfläche dessen kratzen, was der menschliche Geist leisten kann.

Dwarkesh Patel 02:12:59

Ich liebe diese Vision. Und ich habe außerdem das Gefühl, dass ich genau die Person mit dem größten Product-Market-Fit dafür bin. Denn mein Job besteht darin, jede Woche andere Themen zu lernen, und das begeistert mich total.

Andrej Karpathy 02:13:17

Bei mir ist es ähnlich. Viele Leute hassen zum Beispiel die Schule und wollen da raus. Ich mochte die Schule wirklich sehr. Ich habe es geliebt, Dinge zu lernen und so weiter. Ich wollte in der Schule bleiben. Ich bin bis zur Promotion geblieben, und dann durfte ich nicht länger bleiben, also bin ich in die Industrie gegangen. Grob gesagt: Ich liebe es zu lernen, auch um des Lernens willen, aber ich liebe Lernen auch, weil es eine Form von Ermächtigung ist und nützlich sowie produktiv ist.

Dwarkesh Patel 02:13:39

Sie haben außerdem einen subtilen Punkt gemacht, den ich ausformulieren möchte. Warum haben Online-Kurse bisher nicht schon dafür gesorgt, dass jeder einzelne Mensch alles wissen kann? Sie sind einfach zu motivationsbelastend. Denn es gibt keine offensichtliche Rampe hinein, und man bleibt viel zu leicht stecken. Wenn man stattdessen so etwas hätte — also wirklich wie einen guten menschlichen Tutor —, dann wäre das aus Motivationssicht genau dieser Unlock.

Andrej Karpathy 02:14:10

Das denke ich. Es fühlt sich schlecht an, aus dem Material herauszufallen. Es fühlt sich schlecht an. Wenn man Zeit in etwas investiert und es keine Früchte trägt oder wenn das, was man bekommt, entweder zu leicht oder zu schwer ist und dadurch völlig langweilig wird, erhält man eine negative Belohnung. Wenn es richtig läuft, fühlt sich Lernen gut an. Dorthin zu gelangen, ist ein technisches Problem. Eine Zeit lang wird es AI-plus-Mensch-Kollaboration sein, und irgendwann wird es wahrscheinlich einfach nur AI sein.

Dwarkesh Patel 02:14:36

Kann ich ein paar Fragen dazu stellen, wie man gut lehrt? Wenn Sie anderen Lehrenden in anderen Bereichen, für die Sie sich interessieren, raten müssten, die Art von YouTube-Tutorials zu machen, die Sie gemacht haben. Besonders interessant könnte es sein, über Bereiche zu sprechen, in denen man das technische Verständnis von jemandem nicht dadurch testen kann, dass man ihn Code schreiben lässt oder so etwas. Welchen Rat würden Sie geben?

Andrej Karpathy 02:14:58

Das ist ein ziemlich weites Thema. Es gibt wahrscheinlich 10 bis 20 Tipps und Tricks, die ich halb bewusst anwende. Aber vieles davon kommt aus meinem Physik-Hintergrund. Ich habe meinen Physik-Hintergrund wirklich, wirklich genossen. Ich könnte lange darüber sprechen, warum in der frühen Schulbildung jeder Physik lernen sollte. Denn bei früher Schulbildung geht es nicht darum, Wissen oder Erinnerungen anzusammeln, um später in der Industrie zu arbeiten. Es geht darum, das Gehirn hochzufahren. Physik fährt das Gehirn am besten hoch. Denn einige der Dinge, zu denen einen Physik das Gehirn bringt, sind später extrem wertvoll.

Die Idee, Modelle und Abstraktionen zu bauen und zu verstehen, dass es eine Näherung erster Ordnung gibt, die den Großteil eines Systems erklärt, es aber auch Terme zweiter, dritter oder vierter Ordnung geben kann oder nicht. Die Idee, dass man ein sehr verrauschtes System beobachtet, es aber diese zugrunde liegenden Frequenzen gibt, die man abstrahieren kann. Wenn ein Physiker in den Unterricht kommt und sagt: "Nehmen wir an, wir haben eine kugelförmige Kuh", dann lachen alle darüber, aber das ist großartig. In vielerlei Hinsicht ist das ein hervorragender Denkansatz, der sich über ganze Industrien hinweg verallgemeinern lässt, weil man Kühe auf viele Arten als Kugeln annähern kann.

Es gibt zum Beispiel ein wirklich gutes Buch, Scale. Es ist ein Buch über Biologie, geschrieben von einem Physiker. Vielleicht ist das auch ein Buch, das ich zum Lesen empfehlen würde. Man kann wirklich interessante Näherungen für Tiere finden und Skalierungsgesetze von Tieren grafisch darstellen. Man betrachtet ihren Herzschlag und solche Dinge, und das passt zu ihrer Größe und solchen Faktoren. Man kann bei Tieren über Volumen sprechen. Man kann über ihre Wärmeabgabe sprechen. Denn Wärmeabgabe wächst mit der Oberfläche, also quadratisch. Aber Wärmeerzeugung oder -produktion wächst kubisch. Deshalb habe ich einfach das Gefühl, dass Physiker über alle richtigen kognitiven Werkzeuge verfügen, um Probleme in der Welt zu lösen.

Wegen dieser Ausbildung versuche ich immer, die Terme erster oder zweiter Ordnung in allem zu finden. Wenn ich ein System oder etwas beobachte, habe ich in meinem Kopf ein verflochtenes Netz aus Ideen und Wissen. Ich versuche herauszufinden, was wichtig ist. Was ist die Komponente erster Ordnung? Wie kann ich es vereinfachen? Wie kann ich das Einfachste haben, das genau das zeigt, es tatsächlich zeigt, und dann kann ich die anderen Terme hinzufügen?

Ein Beispiel aus einem meiner Repositories, das das meiner Meinung nach gut zeigt, heißt micrograd. Ich weiß nicht, ob Sie das kennen. micrograd sind 100 Zeilen Code, die Backpropagation zeigen. Mit einfachen Operationen wie Addition und Multiplikation kann man neuronale Netze bauen. Die Lego-Bausteine neuronaler Netze. Man baut einen Rechengraphen auf und macht einen Forward Pass und einen Backward Pass, um Gradienten zu erhalten. Und das ist der Kern allen Trainings neuronaler Netze.

micrograd sind also 100 Zeilen ziemlich gut interpretierbaren Python-Codes, mit denen man Forward und Backward für beliebige neuronale Netze machen kann, aber effizient ist es nicht. Deshalb ist micrograd, diese 100 Zeilen Python, alles, was man braucht, um zu verstehen, wie neuronale Netze trainiert werden. Alles andere ist einfach Effizienz. Um Effizienz zu bekommen, steckt eine gewaltige Menge Arbeit darin. Man braucht Tensoren, Batching, Strides, man muss Kernel bauen und Speicherbewegungen richtig orchestrieren und so weiter. Das ist alles, grob gesagt, einfach Effizienz. Aber das intellektuelle Kernstück des Trainings neuronaler Netze ist micrograd. Es sind 100 Zeilen. Man kann es leicht verstehen. Es ist eine rekursive Anwendung der Kettenregel, um Gradienten herzuleiten. Dadurch kann man beliebige differenzierbare Funktionen optimieren.

Deshalb liebe ich es, diese kleinen Terme niedriger Ordnung zu finden, zu entdecken und auf dem Silbertablett zu servieren. Ich finde, Lehre ist die intellektuell interessanteste Sache, weil man dieses Geflecht des Verstehens hat und versucht, es so anzuordnen, dass eine Rampe entsteht, bei der alles nur von dem abhängt, was davor kam. Dieses Wissensgeflecht zu entwirren, finde ich als kognitive Arbeit einfach unglaublich intellektuell spannend. Ich persönlich liebe es, das zu tun, und mich fasziniert es, Dinge auf eine bestimmte Weise anzuordnen. Vielleicht hilft mir genau das.

Dwarkesh Patel 02:18:41

Das macht die Lernerfahrung auch viel motivierender. Ihr Tutorial über Transformer beginnt mit Bigrams, also buchstäblich einer Lookup-Tabelle: "Hier ist jetzt ein Wort, oder hier ist das vorherige Wort, hier ist das nächste Wort." Es ist buchstäblich einfach eine Lookup-Tabelle.

Andrej Karpathy 02:18:58

Das ist im Kern genau das, ja.

Dwarkesh Patel 02:18:59

Von einer Lookup-Tabelle zu einem Transformer zu kommen, ist wirklich eine großartige Vorgehensweise. Jedes Stück ist motiviert. Warum sollte man das hinzufügen? Warum als Nächstes jenes hinzufügen? Man kann die Attention-Formel auswendig lernen, aber es geht darum zu verstehen, warum jedes einzelne Stück relevant ist und welches Problem es löst.

Andrej Karpathy 02:19:13

Präsentiere den Schmerz, bevor du die Lösung präsentierst, und wie clever ist das? Ich möchte die Lernenden durch genau diesen Verlauf führen. Es gibt noch viele andere kleine Dinge, die es gut, fesselnd und interessant machen. Gib den Lernenden immer einen Prompt.

Es gibt viele weitere kleine Dinge wie dieses, die gute Lehrende tun. Wie würden Sie das lösen? Ich werde die Lösung nicht präsentieren, bevor ich geraten habe. Das wäre Verschwendung. Das wäre ein bisschen ... ich will nicht fluchen, aber es wäre ein schlechtes Verhalten Ihnen gegenüber, wenn ich Ihnen nicht die Chance gäbe, es selbst zu versuchen, bevor ich die Lösung präsentiere.

Dwarkesh Patel 02:19:51

Weil man, wenn man versucht, selbst darauf zu kommen, ein besseres Verständnis dafür bekommt, was der Handlungsraum ist, was das Ziel ist und warum dann genau diese Handlung das Ziel erfüllt.

Andrej Karpathy 02:20:03

Wenn man die Chance hatte, es selbst zu versuchen, ist man dankbar, wenn ich die Lösung gebe. Man maximiert die Menge an Wissen pro zusätzlicher neuer Tatsache.

Dwarkesh Patel 02:20:11

Warum sind Menschen, die in ihrem Bereich echte Experten sind, oft schlecht darin, das jemandem zu erklären, der es gerade erst lernt?

Andrej Karpathy 02:20:24

Es sind Expertise und der Fluch des Wissens. Das ist ein echtes Phänomen, und ich leide genauso darunter, wie ich mich auch bemühe. Man hält bestimmte Dinge für selbstverständlich und kann sich nicht in die Lage neuer Menschen versetzen, die gerade erst anfangen. Das ist weit verbreitet, und es passiert auch mir.

Eine Sache ist sehr hilfreich. Jemand wollte mir zum Beispiel neulich eine Arbeit aus der Biologie zeigen, und ich hatte sofort unglaublich viele schreckliche Fragen. Was ich getan habe, war, ChatGPT zu benutzen, das Paper ins Kontextfenster zu legen und Fragen zu stellen. Dadurch habe ich einige der einfachen Dinge geklärt. Danach habe ich den Thread mit der Person geteilt, die das Paper geschrieben oder an dieser Arbeit gearbeitet hatte. Ich hatte das Gefühl, dass es helfen könnte, Dinge künftig besser zu erklären, wenn sie die dummen Fragen sehen kann, die ich hatte.

Bei meinem Material würde ich es wirklich lieben, wenn Leute ihre dummen Gespräche mit ChatGPT über die Dinge teilen würden, die ich gemacht habe. Denn das hilft mir wirklich dabei, mich wieder in die Lage von jemandem zu versetzen, der ganz von vorne anfängt.

Dwarkesh Patel 02:21:19

Es gibt noch einen anderen Trick, der erstaunlich gut funktioniert. Wenn jemand eine wissenschaftliche Arbeit schreibt, einen Blogbeitrag verfasst oder einen Vortrag hält, dann ist die Darstellung oder das Transkript davon, wie diese Person es beim Mittagessen erklären würde, nicht nur viel verständlicher, sondern tatsächlich auch präziser und wissenschaftlicher. In 100 % der Fälle. Ich meine damit, dass Menschen dazu neigen, Dinge auf die abstraktest mögliche, mit Fachjargon überladene Weise zu erklären und sich vier Absätze lang warmzureden, bevor sie die eigentliche Kernidee erklären. Aber wenn man eins zu eins mit jemandem kommuniziert, gibt es etwas, das die Person einfach dazu bringt, zu sagen, was sie sagen will.

Andrej Karpathy 02:22:07

Sagen Sie es einfach. Ich habe diesen Tweet gesehen und fand ihn wirklich gut. Ich habe ihn mit vielen Leuten geteilt. Dieses Gefühl hatte ich immer wieder.

Das prägnanteste Beispiel ist: Ich erinnere mich an meine Promotionszeit, als ich Forschung gemacht habe. Man liest die Arbeit von jemandem und versucht zu verstehen, was darin eigentlich gemacht wird. Und später trifft man die Person auf einer Konferenz bei einem Bier und fragt: „Also, worum ging es in dieser Arbeit? Worum geht es in dem Paper?“

Dann sagen sie einfach drei Sätze, die das Wesen der Arbeit perfekt erfassen und die Idee vollständig vermitteln. Und man hätte das Paper gar nicht lesen müssen. Das passiert nur, wenn man mit einem Bier oder so am Tisch sitzt, und sie sagen: „Ach ja, das Paper nimmt einfach diese Idee, kombiniert sie mit jener Idee und probiert dieses Experiment und jenes aus.“ Sie haben eine perfekte Art, es in einem Gespräch auszudrücken. Warum ist das nicht das Abstract?

Dwarkesh Patel 02:22:51

Genau. Das lässt sich auch darauf beziehen, wie jemand die Formulierung einer Idee besser hinbekommen kann. Was wäre als Student Ihr Rat an andere Studierende, wenn die Person, die die Erklärung der Idee liefert, nicht Karpathy ist? Wenn man ein Paper von jemandem liest oder ein Buch liest: Welche Strategien nutzen Sie, um Material zu lernen, das Sie interessiert, in einem Bereich, in dem Sie kein Experte sind?

Andrej Karpathy 02:23:20

Ich weiß ehrlich gesagt nicht, ob ich besondere Tipps und Tricks habe. Es ist ein schmerzhafter Prozess. Eine Sache, die für mich immer ziemlich hilfreich war — ich habe einen kleinen Tweet dazu geschrieben — ist Lernen nach Bedarf. Tiefenorientiert lernen. Tiefenorientiert, bedarfsgetrieben lernen — man versucht, ein bestimmtes Projekt umzusetzen, für das es am Ende eine Belohnung gibt — und das ein Stück weit abzuwechseln mit breitenorientiertem Lernen, also: „Oh, machen wir einfach irgendein 101, und hier sind alle möglichen Dinge, die du vielleicht brauchst.“ Das ist das, was viele Schulen machen — sie setzen auf breitenorientiertes Lernen, so nach dem Motto: „Vertrau uns, später wirst du das brauchen.“ Okay, ich vertraue euch. Ich lerne es, weil es nötig ist. Aber ich mag die Art des Lernens, bei der ich eine Belohnung daraus ziehe, tatsächlich etwas zu tun, und eben nach Bedarf lerne.

Eine andere Sache, die ich als extrem hilfreich empfunden habe — das ist vielleicht die etwas altruistischere Seite von Bildung — ist, Menschen Dinge zu erklären; das ist eine wunderbare Möglichkeit, etwas tiefer zu lernen. Das passiert mir ständig. Wahrscheinlich passiert es auch anderen. Denn wenn man etwas nicht wirklich versteht, merkt man, dass man es nicht erklären kann. Man versucht es und sagt: „Oh, ich verstehe das nicht.“ Es ist unglaublich lästig, damit konfrontiert zu werden. Dann kann man zurückgehen und prüfen, ob man es wirklich verstanden hat. Man füllt diese Verständnislücken. Man zwingt sich, sich ihnen zu stellen. Man zwingt sich, sie aufzulösen.

Ich erkläre Dinge gerne noch einmal, und andere sollten das auch tun. Denn dann muss man mit dem Wissen arbeiten und wirklich sicher sein, dass man versteht, wovon man beim Erklären spricht.

Dwarkesh Patel 02:24:48

Das ist ein perfekter Schlussgedanke. Andrej, das war großartig.

Andrej Karpathy 02:24:51

Danke.

[GN⁺]

Hacker-News-Kommentare

• Meiner Meinung nach ist es wichtig, die Entwicklung von KI als eine Art „Marsch der Neunen“ zu betrachten. Jede zusätzliche 9 % erfordert denselben Aufwand. Wenn man eine Demo-Version mit 90 % gebaut hat, muss man danach die zweiten 9 %, die dritten 9 % usw. weiter aufstapeln. Als ich 5 Jahre bei Tesla gearbeitet habe, habe ich diesen iterativen Prozess mehrfach erlebt. Es liegt noch ein weiter Weg vor uns. Bei der KI-Entwicklung sieht es auf irgendeinem festen Benchmark oft so aus, als würden die Fähigkeiten exponentiell wachsen, aber die Schwierigkeit des Übergangs zur nächsten Stufe wächst ebenfalls exponentiell, sodass es langfristig wie eine lineare Verbesserung wirkt

  • Als ich kürzlich ein Interview mit Rich Sutton gesehen habe, kam mir der Gedanke, dass AGI nicht einfach nur eine Frage des zusätzlichen Aufstapelns von 9 % ist. Der Interviewer setzte voraus, dass Sprachverständnis ein Modell der Welt erfordert, aber Sutton wies diese Annahme sofort zurück. Diese skeptische Haltung erscheint mir durchaus nachvollziehbar

  • Diese Geschichte erinnert mich an ein altes Sprichwort über den Marathon. Ein Marathon besteht aus zwei Teilen: den ersten 20 Meilen und den letzten 10 km, die man in dem schmerzhaftesten und erschöpftesten Zustand seines Lebens läuft

  • Mir gefällt die Metapher des Autors. Aber ab einem gewissen Punkt wird KI selbst dazu beitragen, den Fortschritt zu beschleunigen, und das unterscheidet sie grundlegend von früherem domänenspezifischem ML oder anderen Systemen. Deshalb erwarte ich, dass es innerhalb der nächsten 2 Jahre zu einer starken Beschleunigung kommen könnte

  • Ich scherze auch oft, dass ich die ersten 90 % einer Arbeit abgeschlossen habe und dann zu den nächsten 90 % übergehe

  • Diese Denkweise lässt sich auf viele Bereiche anwenden. Das sogenannte Pareto-Prinzip, also die 80/20-Regel, besagt, dass 20 % des Aufwands 80 % der Gesamtarbeit ausmachen. Aber für die restlichen 20 % geht dann die meiste Zeit drauf. Dieses Prinzip lässt sich immer wieder anwenden. In der IT fällt dieses Phänomen in letzter Zeit besonders stark auf. Sich schnell zu bewegen und zu experimentieren ist auf den meisten Streckenabschnitten gut, aber dabei häufen sich viele Probleme an, sodass am Ende jemand aufräumen und prüfen muss. Viele kleine Probleme zusammen werden zu einem großen Problem. Selbst bei 99,9 % Systemverfügbarkeit gibt es im Jahr 9 Stunden Ausfallzeit, und 1 Million Fälle bei 1 Milliarde Vorgängen sind keine vernachlässigbare Größenordnung. Dank der Skalierbarkeit von Technologie ist das Feld schnell gewachsen, aber damit ist auch die Schattenseite größer geworden. Ein überdurchschnittliches Niveau erreicht man mit bloßer Anstrengung recht leicht, aber in manchen Bereichen kann jemand in Wirklichkeit noch weit von echter Meisterschaft entfernt sein. So wie jemand mit 100 Millionen Dollar in Bezug auf Vermögen einem Obdachlosen näher ist als einem Milliardär, ist auch unser Gefühl für Größenordnungen gekrümmt

• Ich habe immer ein seltsames Gefühl, wenn KI-Forscher und Informatiker anfangen, das menschliche Gehirn, KI und Computer miteinander zu vergleichen. Ich frage mich, warum wir, die nur Informatik studiert haben, glauben, genug über Biologie, Neurowissenschaften, Evolution usw. zu wissen. Solche Diskussionen sind interessant, aber im Hinterkopf denke ich mir immer: „Vergiss nicht, dass du gerade zwei Informatikabsolventen zuhörst, die über Neurowissenschaften reden“

  • Ich finde, man sollte solche Gespräche und diese Begriffe in der KI komplett abschaffen. Sie sorgen in der Öffentlichkeit nur für endlose Verwirrung. Das Wesen realer LLMs besteht schlicht darin, Matrizen darauf zu trainieren, das nächste Token vorherzusagen. Dieses Konzept allein reicht zur Erklärung völlig aus, ohne AGI, Roko's basilisk oder menschliches Bewusstsein ins Spiel zu bringen

  • Um zu beantworten, warum diese Annahme entsteht: Es ist „Arroganz“

  • Eigentlich gibt es dazu als logischen Scherz die Vorstellung eines „perfekt kugelförmigen und reibungsfreien Gehirns“

  • Ich habe solche Vergleiche im Grundstudium auch gemacht und mich dabei letztlich auf ein konzeptionelles Modell gestützt: Wenn das Gehirn X tut, dann macht ein Computer auf den ersten Blick vielleicht etwas Ähnliches wie X, oder er könnte X über Schritte wie Y und Z nachbilden. Aber seit ich verstanden habe, dass das Gehirn eine enorm komplexe chemische Maschine ist, bin ich bei solchen Vergleichen viel skeptischer geworden

  • KI und Neurowissenschaften hatten besonders unter früheren Forschern viele Überschneidungen. Karpathys Betreuerin Fei-Fei Li etwa erforschte das Sehen im Katzengehirn, bevor sie zur Computer Vision wechselte, Demis Hassabis hat in Computational Neuroscience promoviert, und Geoff Hinton studierte Psychologie. Die Konferenz RLDM (Reinforcement Learning and Decision Making) verknüpft Reinforcement Learning und Neurowissenschaften, sodass Fachleute aus beiden Bereichen zusammenkommen. Tatsächlich wissen durchschnittliche KI-Forscher wahrscheinlich deutlich mehr über das Gehirn als gewöhnliche Informatikstudenten, auch wenn ihnen für eigene Forschung dort womöglich noch immer die nötige Spezialisierung fehlt

• Eine grundlegende Grenze aktueller LLMs/KI ist, dass sie vor allem auf abstrahierte Daten fokussiert trainiert werden, um den präfrontalen Kortex nachzuahmen, der beim Menschen für logisches Schlussfolgern zuständig ist. Tatsächliche menschliche Urteile werden jedoch durch die Aktivität des limbischen Systems geprägt, das auf Emotionen und Intuition basiert. Meistens tun wir also erst etwas, „bevor wir wissen warum“, und danach baut der präfrontale Kortex eine passende Geschichte darum. Infolgedessen ahmen LLMs nur einige Formen neuronaler Aktivität nach, aber von einem völlig anderen Ausgangspunkt aus als die menschliche Verarbeitung der Realität

• Ich wäre bereit, mein gesamtes Vermögen darauf zu wetten, dass AGI im Leben von niemandem auftauchen wird, der diese Nachricht gerade liest. Einschließlich der Leben zukünftiger Leser, die diesen Text irgendwann später lesen werden. Wirklich interessant ist die Frage, wie man diese Wette überhaupt beweisen könnte

  • Mich würde interessieren, warum du das konkret denkst. Jedes Mal, wenn ich Hacker News lese, bin ich irritiert darüber, wie ernsthaft wirkende AGI-Prognosen ohne erkennbare saubere Logik herausgehauen werden. Ich weiß wirklich nicht, was passieren wird

  • Damit diese Wette tatsächlich Bestand hat, müsste man echtes Geld auf einem Prognosemarkt wie Polymarket setzen. Allerdings müsste man sich zuerst auf eine konkrete Definition von AGI einigen. Wenn die Gegenseite die Definition zu ihren Gunsten festlegt, ist die Wette nicht zu gewinnen

  • Wenn man wirklich das eigene Vermögen darauf setzen will, ist ein Prognosemarkt praktisch die Antwort, weil sich so eine Wette sonst kaum realisieren lässt. Auf Polymarket gibt es viele AGI-bezogene Wetten

  • Es könnte realistischer sein, einfach Nvidia-Aktien leerzuverkaufen

  • Gemeint ist wohl die Nutzung eines Escrow-Modells

• Wenn ich auch noch etwas hinzufügen darf: Ich glaube, wir haben nach wie vor nicht einmal ein schematisches Verständnis davon, was Intelligenz ist und wie sie funktioniert. Selbst die Verbindung zwischen Bewusstsein und Intelligenz ist unklar. Unter diesen Umständen sind Diskussionen über AGI oder KI und erst recht Vorhersagen darüber in weiten Teilen schwach begründet. Es ist widersinnig, künstliche Intelligenz definieren zu wollen, wenn wir nicht einmal wissen, was Intelligenz überhaupt ist

  • Der Grund, warum es so schwer ist, Intelligenz oder Bewusstsein zu definieren, liegt darin, dass wir völlig von einer einzigen Stichprobe (dem Menschen) abhängen und darüber hinaus noch unbegründeten Mystizismus darüberlegen. Ein einschlägiger Text dazu: https://bower.sh/who-will-understand-consciousness

  • Dem stimme ich wirklich aus vollem Herzen zu. Wir können nicht einmal das Bewusstsein von Wirbellosen modellieren, und wir haben keine brauchbare Theorie des „Geistes“. Letztlich tun KIs nur so, als würden sie verstehen; mit echter Intelligenz hat das meiner Meinung nach wenig zu tun

• Falls das Interview korrekt transkribiert wurde, hat Karpathy in diesem Interview nirgends gesagt, dass AGI innerhalb von 10 Jahren kommen werde, und auch sonst keine konkrete Behauptung dazu aufgestellt, wann AGI eintreten werde. Patels Titel ist damit irreführend und weicht vom tatsächlichen Inhalt ab

  • Bei Sutton gilt dasselbe. Im eigentlichen Gespräch hat Sutton nicht gesagt: „LLMs sind die Endstation“ oder Ähnliches, und trotzdem wird es dann so interpretiert

• Wenn man vibe coding mit Autovervollständigung vergleicht, haben heutige LLM-Modelle viele kognitive Mängel. Sie sind zum Beispiel so stark auf die üblichen Arten des Codens trainiert, dass sie Ansätze, die ich nicht gewählt habe, ständig missverstehen. Und es ist einfach zu umständlich, alles, was ich will, auf Englisch auszutippen, während mir Autovervollständigung sofort Code vorschlägt, wenn ich nur an die gewünschte Stelle gehe und ein paar Zeichen eingebe. Die Modelle machen die Codebasis aber oft unnötig kompliziert, verwenden überflüssigen Code und ständig veraltete APIs, sodass ich insgesamt nicht sicher bin, wie hilfreich sie wirklich sind

• Ich glaube, wir werden selbst in einer Zukunft mit 50 % Arbeitslosigkeit noch darüber streiten, ob das nun wirklich AGI ist

• Schon die Vorstellung, dass AGI das Ziel sei, wirkt seltsam. Auch der Begriff KI ist ungenau und trifft das Wesen nicht. LLMs sind keine künstliche Intelligenz, und selbst sehr große LLMs ändern daran nichts. Trotzdem sind Sprachmodelle eine sehr nützliche und potenziell revolutionäre Technologie. LLMs als KI zu bezeichnen, ist zugleich eine Über- und Unterbewertung ihres Werts. Dass sie keine künstliche Intelligenz sind, muss keine Enttäuschung sein; es ist trotzdem beeindruckende Technologie

  • Dieser Begriff sorgt für Verwirrung. Früher meinte KI jede Art von maschineller Intelligenz, von schwacher Schach-KI über Bildklassifikatoren bis zu KI für Videospielcharaktere. Heute setzen jedoch viele Menschen KI mit AGI, also Intelligenz auf menschlichem Niveau, gleich

• Jetzt, da Nvidia das Unternehmen mit der höchsten Marktkapitalisierung ist, wird die echte Diskussion über AGI vom gewaltigen Hype-Zug des Kapitals überrollt. Ein Großteil der Bewertungen entsprechender Unternehmen basiert auf dem Glauben, dass AGI in naher Zukunft realisiert wird. Wenn AGI zu nah erscheint, wirkt es so, als könnten die derzeitigen Marktführer alles abschöpfen; wenn es zu weit entfernt erscheint, könnten Investitionen und Ausgaben unhaltbar wirken

  • Der eigentliche Unternehmenswert könnte weniger auf der Erwartung von AGI beruhen als darauf, dass Unternehmen große Summen in KI-Technologien stecken, um durch Büroautomatisierung und Ähnliches Gehälter der Mittelschicht einzusparen

  • Auch ohne AGI kann KI enormen wirtschaftlichen Wert schaffen

  • Genau. Verbunden mit dem Narrativ „AGI in 5–10 Jahren“ wird dann mit einem technologischen Wettlauf gegen China, fast wie bei einem neuen Weltraumrennen, argumentiert, dass „Billionen Dollar“ an Investitionen nötig seien. 2024 gab es dazu auch Berichte in den Nachrichten: https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html