9 Punkte von xguru 2023-12-15 | 1 Kommentare | Auf WhatsApp teilen
  • Zur Maximierung der Fähigkeiten des bestehenden Llama2 7B wurde die Depth-Up-Scaling-Technologie entwickelt und angewendet
  • In Benchmarks zeigt es bei Modellen mit weniger als 30 Milliarden Parametern eine herausragende Leistung und übertrifft QWEN, das sechsmal größer ist, sowie das kürzlich veröffentlichte Modell Mixtral 8x7B
    • Platz 1 im OpenLLM-Leaderboard mit 74,2 Punkten. Alibabas QWEN-72B erreicht 73,6, Mixtral-8x7B 72,6
  • Instruction-Fine-Tuning wurde gut umgesetzt
  • Da das nun veröffentlichte Modell englischbasiert ist, kann die Leistung auf Koreanisch gering sein

1 Kommentare