Lit-LLaMA - Open-Source-LLaMA-Implementierung auf Basis von nanoGPT

 (github.com/Lightning-AI)
25 Punkte von xguru 2023-04-03 | 1 Kommentare | Auf WhatsApp teilen
  • Open Source, vollständig separat entwickelt auf Basis von nanoGPT mit Apache-2.0-Lizenz, statt des unter GPL lizenzierten LLaMA-Codes
  • Einfach, da als einzelne Datei ohne Boilerplate implementiert, und numerisch identisch mit dem bestehenden Modell
  • Unterstützt FlashAttention, Quantisierung, LoRA-Finetuning und Pretraining
  • Optimiert für die Ausführung auf Consumer-Hardware

Verwandte Beiträge

1 Kommentare

 
xguru 2023-04-03

nanoGPT ist Code, mit dem Andrej Karpathy, der AI-Chef bei Tesla war, minGPT neu geschrieben hat.
nanoGPT - Open Source, um mittelgroße GPTs am schnellsten zu trainieren/feinzutunen

FlashAttention