So lassen sich GPT-ähnliche LLMs mit einem benutzerdefinierten Datensatz feinabstimmen

• Feinabstimmung mit LoRA und Adaptern auf Basis von Lit-Parrot, einer Open-Source-Implementierung auf Grundlage von nanoGPT
  • Unterstützt LLMs wie StableLM, Pythia und RedPajama
  • Nutzt FlashAttention von PyTorch
• Im Beispiel wird das RedPajama-INCITE-Modell mit dem Instruction-Datensatz Dolly 2.0 von Databricks trainiert