nanoGPT – Open Source zum schnellsten Trainieren/Feintunen mittelgroßer GPTs

• Code, in dem Andrej Karpathy, früherer Head of AI bei Tesla, minGPT neu geschrieben hat
• Ziel ist es, gut lesbaren und unkomplizierten Code zu schreiben
  • train.py mit rund 300 Zeilen
  • model.py mit rund 300 Zeilen
• Arbeitet daran, GPT-2 auf dem OpenWebText-Datensatz zu reproduzieren