Code Alpaca – LLaMA, trainiert mit Anweisungen zur Codegenerierung

• Ein auf Stanford Alpaca 7B/13B basierendes Modell, das so abgestimmt wurde, dass Entwickler es gut für Coding-Aufgaben einsetzen können
• Ersetzt durch einen 20K großen Instruction-Following-Datensatz zur Codegenerierung (unter Verwendung der Self-Instruct-Technik)
• Die Pipeline zur Datengenerierung wurde teilweise angepasst: Die Prompts wurden von allgemeinen Aufgaben auf Codegenerierung/-bearbeitung/-optimierung umgestellt
• Fine-Tuning mit Hugging Face-Trainingscode und Deepspeed