O1-Preview-Modell direkt für unter 450 US-Dollar trainieren

• Sky-T1

• O1-Preview-Modell für 450 US-Dollar trainieren

  • Modelle wie O1 und Gemini 2.0 zeigen eine hervorragende Denkfähigkeit beim Lösen komplexer Aufgaben und erreichen dies durch lange interne Denkprozesse.
  • Da es jedoch keinen Zugang zu technischen Details und Modellgewichten gibt, stellt dies eine Hürde für die Beteiligung von Wissenschaft und Open-Source-Community dar.
  • Als Reaktion darauf sind einige bemerkenswerte Bemühungen entstanden, Open-Weight-Reasoning-Modelle für den Mathematikbereich zu trainieren, etwa Still-2 und Journey.
  • Das NovaSky-Team der UC Berkeley untersucht verschiedene Techniken, um die Reasoning-Fähigkeiten von Basis- und Instruction-Tuning-Modellen weiterzuentwickeln.
  • Diese Forschung erreicht auf demselben Modell nicht nur in Mathematik, sondern auch beim Coding eine wettbewerbsfähige Reasoning-Performance.

• Mitwirkende

  • Dacheng Li, Shiyi Cao, Shu Liu, Tyler Griggs, Simon Mo, Shishir G. Patil, Joseph E. Gonzalez, Ion Stoica