Alpaca: Ein leistungsstarkes Open-Source-Instruction-Following-Modell auf GPT-3.5-Niveau

• Das Stanford CRFM hat Metas LLaMA 7B mit 52K Instruction-Following-Daten feinabgestimmt
• Funktioniert ähnlich wie OpenAIs GPT-3.5 (text-davinci-003), ist aber deutlich kleiner und günstiger
• Das Trainingsrezept und die Daten werden veröffentlicht; die Modellgewichte sollen später ebenfalls freigegeben werden
• Veröffentlichung nur zu Forschungszwecken; kommerzielle Nutzung ist untersagt
• Das Fine-Tuning dauerte auf 8 A100 mit 80 GB 3 Stunden und ist in der Cloud für unter etwa 100 US-Dollar möglich

[xguru]

Repo: https://github.com/tatsu-lab/stanford_alpaca
Web-Demo: https://crfm.stanford.edu/alpaca/

Die Veröffentlichung von LLaMA sorgt wirklich für einen Stable Diffusion Moment. Die Entwicklung verläuft unglaublich schnell.