- Zur Maximierung der Fähigkeiten des bestehenden Llama2 7B wurde die Depth-Up-Scaling-Technologie entwickelt und angewendet
- In Benchmarks zeigt es bei Modellen mit weniger als 30 Milliarden Parametern eine herausragende Leistung und übertrifft QWEN, das sechsmal größer ist, sowie das kürzlich veröffentlichte Modell Mixtral 8x7B
- Platz 1 im OpenLLM-Leaderboard mit 74,2 Punkten. Alibabas QWEN-72B erreicht 73,6, Mixtral-8x7B 72,6
- Instruction-Fine-Tuning wurde gut umgesetzt
- Da das nun veröffentlichte Modell englischbasiert ist, kann die Leistung auf Koreanisch gering sein
1 Kommentare
Upstage ist der Entwickler von AskUp, einer KI, die in KakaoTalk genutzt werden kann.
Alibaba veröffentlicht das Open-Source-KI-Modell QWEN
Mistral AI veröffentlicht Mixtral 8x7B, das dem Modell Llama 2 70B überlegen ist