GPT in 60 Zeilen mit NumPy implementieren

• Ein Tutorial, das unter der Annahme, dass man mit Python und NumPy vertraut ist, GPT einfach implementiert und anschließend das von OpenAI veröffentlichte GPT-2-Modell lädt, um Text zu generieren

Inhaltsverzeichnis

• Was ist GPT?
• Setup: Encoder, Hyperparameter, Parameter
• Grundlegende Layer: GeLU, Softmax, Layer Normalization, Linear
• GPT-Architektur
  • Embeddings
  • Decoder-Stack
  • Projektion auf das Vokabular
  • Decoder-Block
  • Positionsweises Feed-Forward-Netzwerk
  • Multi-Head Causal Self-Attention
• Alles zusammenfügen
• What's Next?
  • GPU/TPU-Unterstützung
  • Backpropagation
  • Batching
  • Inference-Optimierung
  • Training
  • Evaluation
  • Architekturverbesserungen