LLaMA-Adapter V2: Ein Tool zum effizienten Fine-Tuning von LLaMA
(github.com/ZrrSkywalker)- Mit nur 1,2 Millionen trainierbaren Parametern kann LLaMA in nur 1 Stunde zu einem Instruction-Following- und Multimodal-Modell trainiert werden
- Alpaca benötigt 7B Parameter, 13G Speicherplatz und 3 Stunden,
LLaMA-Adapter dagegen kommt mit 1.2M Parametern, 4.7M Speicherplatz und 1 Stunde aus
1 Kommentare
Wurde dabei nicht ein PEFT-Verfahren ähnlich wie LoRA verwendet, und ist der wichtigste Punkt nicht vor allem, dass Visual Context unterstützt wird? Es gibt bereits so viele SFTs (Instruction Fine-Tuning) als PEFT-Ansatz für LLaMA, dass ...