- Meta hat Code Llama vorgestellt, ein speziell fürs Programmieren entwickeltes Modell auf Basis von Llama 2.
- Es kann aus Code- und natürlichsprachigen Prompts Code erzeugen; laut den eigenen Benchmark-Ergebnissen war es leistungsfähiger als ChatGPT.
- Veröffentlicht wurden jeweils Modelle mit 7B, 13B und 34B Parametern, trainiert auf 500 Milliarden Code-Token und zugehörigen Daten.
- Es unterstützt bis zu 100.000 Kontext-Token, was das Schreiben längerer Programme erleichtert oder die Eingabe detaillierter Anforderungen und echten Codes als Prompt.
- Neben dem Basismodell wurde Code Llama auch in zwei zusätzlichen Varianten veröffentlicht.
- Code Llama - Python: ein mit zusätzlich 100 Milliarden Python-Code-Token feinabgestimmtes Modell.
- Code Llama - Instruct: ein mit 5 Milliarden Instruction-Token feinabgestimmtes Modell, optimiert für natürlichsprachige Eingaben und Code als Ausgabe.
- Da die anderen Modelle nicht für natürliche Sprache optimiert sind, sollte für die Codegenerierung über natürliche Sprache dieses Modell verwendet werden.
- Die Messung der Modellleistung mit HumanEval und MBPP zeigte, dass es ChatGPT (GPT 3.5) ebenbürtig oder überlegen ist.
- Während GPT 3.5 bei HumanEval 48,1 % erreichte, kam Code Llama - Python auf 53,7 %.
- GPT 4 liegt mit 67 % weiterhin vorn.
- Um das Risiko zu minimieren, dass Code Llama Schadcode erzeugt, wurden verschiedene Sicherheitsmaßnahmen hinzugefügt.
- Praktische Tests zeigten, dass es im Vergleich zu ChatGPT weniger Schadcode erzeugt.
2 Kommentare
Die Lizenz scheint dieselbe zu sein wie bei Llama. Wenn man über 700 Millionen MAU kommt, muss man eine Lizenz anfragen.
Nun ja, für koreanische Unternehmen dürfte das wohl kein großes Problem sein, haha
Es wurde unter derselben Lizenz wie Llama 2 veröffentlicht.
Ich hatte auch den Eindruck, dass StarCoder noch ein wenig zu wünschen übrig lässt — gibt es jetzt also endlich eine echte Alternative zu Copilot?
Wenn man darüber nachdenkt, scheint die Leistung von GPT-4 wirklich beeindruckend zu sein.
Es beherrscht auch Koreanisch gut, und auch in Benchmarks zeigt sich, dass GPT-4 deutlich höhere Leistung erzielt ...
Auch GPT-3.5 ist im Koreanischen anderen offenen Modellen klar überlegen.
Ich hoffe, dass es bald ein Open-Source-Modell zur Codegenerierung geben wird, das auch auf Koreanisch funktioniert.