Vom Wettbewerb im autonomen Fahren bis zur AI-Bildungsplattform: Interview mit ex-Tesla-, ex-OpenAI-Andrej Karpathy

Stand der Technik beim autonomen Fahren

• Waymo und Tesla kämpfen um die Spitzenposition
• Waymo bietet derzeit einen kommerziellen Dienst in San Francisco an
• Das Problem, das Tesla löst, ist ein Softwareproblem, und das Problem, das Waymo löst, ist ein Hardwareproblem
• Ein Softwareproblem ist deutlich leichter zu lösen, und Tesla ist Waymo beim Skalierungsgrad bereits weit voraus
• Karpathy prognostiziert, dass Tesla innerhalb von 10 Jahren die Oberhand gewinnen wird

Entwicklungsrichtung von AI-Modellen

• Transformer-Modelle sind der Kern der AI-Forschung
• Die im Internet verfügbaren Daten sind bereits weitgehend ausgeschöpft, daher liegt der Fokus derzeit auf Datensätzen und der Optimierung der Loss Function
• Die im Internet verfügbaren Daten sind letztlich Ergebnisse menschlichen Denkens; was derzeit fehlt, sind Daten über die mehrstufigen Denkprozesse im menschlichen Kopf
• Es wird erwartet, dass die Erzeugung synthetischer Daten wichtig wird, bei der Denkprozesse mit Transformer-Modellen rückwärts rekonstruiert werden
• Selbst mit weniger als 100 Millionen Parametern wird es möglich werden, leistungsstarke AI-Modelle zu bauen (GPT-4 wird auf 1,8 Billionen Parameter geschätzt)

Verschmelzung von AI und Mensch

• AI kann als externer Neokortex genutzt werden
• Langfristig wird die Grenze zwischen AI und Mensch verschwimmen
• Erwartet wird eine Entwicklung hin zu personalisierten AI-Assistenten oder Tools

AI-Bildungsplattform (Eureka Labs)

• Eine von Karpathy entwickelte AI-basierte Bildungsplattform
• Ziel ist es, mithilfe von AI personalisierte Lernerfahrungen bereitzustellen
• Geplanter Start Anfang 2024, der erste Kurs ist LLM101n (https://github.com/karpathy/LLM101n)
• Fokus auf technischer Bildung auf Universitätsniveau