Andrej Karpathy – Tiefenanalyse von LLMs wie ChatGPT [Video]

• Ein Video mit einer tiefgehenden Erklärung der KI-Technologie großer Sprachmodelle (LLMs), die ChatGPT und verwandte Produkte für allgemeine Nutzer antreibt (3 Stunden 31 Minuten)
• Behandelt den gesamten Trainings-Stack hinter der Modellentwicklung, wie man über die „Psychologie“ des Modells nachdenken kann, sowie mentale Modelle dafür, wie sich Modelle in realen Anwendungen optimal nutzen lassen
• Eine etwas umfassendere Version des vor einem Jahr veröffentlichten Videos „Intro to LLMs“

Kapitel

00:00:00 introduction
00:01:00 pretraining data (internet)
00:07:47 tokenization
00:14:27 neural network I/O
00:20:11 neural network internals
00:26:01 inference
00:31:09 GPT-2: training and inference
00:42:52 Llama 3.1 base model inference
00:59:23 pretraining to post-training
01:01:06 post-training data (conversations)
01:20:32 hallucinations, tool use, knowledge/working memory
01:41:46 knowledge of self
01:46:56 models need tokens to think
02:01:11 tokenization revisited: models struggle with spelling
02:04:53 jagged intelligence
02:07:28 supervised finetuning to reinforcement learning
02:14:42 reinforcement learning
02:27:47 DeepSeek-R1
02:42:07 AlphaGo
02:48:26 reinforcement learning from human feedback (RLHF)
03:09:39 preview of things to come
03:15:15 keeping track of LLMs
03:18:34 where to find LLMs
03:21:46 grand summary

[nicewook]

Ich glaube, der Nachteil (?) von Andrej Karpathys Video ist, dass 1,5-fache Geschwindigkeit absolut unmöglich ist. Er spricht wirklich sehr schnell. :-)

[GN⁺]

Hacker-News-Kommentare

• Ich habe großen Respekt vor diesem Typen. Er ist wie Neo, der die Kluft zwischen Menschen und Maschinen überbrückt. Was ich kostenlos aus seinen Repositories und Videos gelernt habe:

  • minGPT, nanoGPT (Transformers)
  • NLP (bitte mehr Serien dazu)
  • Tokenizer (sein YouTube)
  • RNN (sein Blog)
  • In vielen Bereichen gibt es keine Leute wie Karpathy, und wir hören nichts von ihnen. Ich freue mich, dass dieser Mensch Intuition für ML verbreitet

• Ich sage Freunden, dass Andrej der beste Dozent war, den ich in der Graduiertenschule nie hatte. Ich war nicht in Stanford, aber ich habe seine CS321n-Videos auf YouTube gesehen. Ich freue mich sehr, dass er immer noch Videos macht

• Er hat schon mehr als fünf Videos gemacht, die im Grunde dasselbe Thema behandeln: die Transformer-Architektur und das Training. Ich frage mich, was an diesem Video anders ist

• Ich mag seine „let's build“-Reihe wirklich sehr. Neben dem fortgeschrittenen Inhalt lernt man dabei auch coole Python-Tricks

• Es frustriert mich, dass ich mich nicht auf lange Videos konzentrieren kann. Wahrscheinlich sind diese Videos viel besser als kurze

• Ich erinnere mich immer noch daran, wie man im Rahmen des CS231n-Projekts Backpropagation mit Python-Listen umsetzt. Das Erstaunliche ist, dass ich nicht in Stanford war

• Danke, Andrej. Ich habe ein ziemlich gutes Verständnis davon, wie LLMs funktionieren und trainiert werden, aber viele meiner Freunde haben das nicht. Dieses Video und diese Vorträge geben ihnen wenigstens irgendeine Vorstellung

• Ich wünschte, es gäbe andere Wege, solche Videos zu verbreiten. Auf YouTube verschwindet Content irgendwann. Ich finde diesen Content wichtig. Je mehr Menschen wissen, wie KI funktioniert, desto stärker wird die Gesellschaft sein

• Ich habe mir alles angesehen ... meine Wangen sind eingeschlafen, aber es war es wert. Danke, Andrej

• Ich bin ein einfacher Mensch. Wenn ich ein Karpathy-Video sehe, klicke ich darauf, schaue es an und genieße es