Alpaca-LoRA: Low-Rank-LLaMA-Instruct-Tuning

• Mit Low-Rank Adaptation ausprobieren, LLaMA auf eigener Hardware per Instruction-Tuning anzupassen
• Ein Modell, das sogar auf einem Raspberry Pi laufen kann und dabei eine ähnliche Qualität wie text-davinci-003 bietet
• Der Trainingscode kann auf einer einzelnen RTX 4090 in weniger als 5 Stunden ausgeführt werden
• Verwendet Hugging Faces PEFT (Parameter-Efficient Fine-Tuning) und Tim Dettmers bitsandbytes für günstiges und effizientes Fine-Tuning