Meta lernt mit Chain-of-Thought, wie man denkt

• Fortschritte von LLMs für System-2-Reasoning

  • Das Forschungsteam um Violet Xiang schlägt ein neues Framework namens Meta Chain-of-Thought (Meta-CoT) vor.
  • Meta-CoT erweitert bestehende Chain-of-Thought (CoT)-Ansätze, indem es die zugrunde liegende Argumentation, die erforderlich ist, um zu einer bestimmten CoT zu gelangen, explizit modelliert.
  • Die Arbeit präsentiert empirische Belege dafür, dass aktuelle Modelle ein Verhalten zeigen, das zur In-Context-Suche passt, und untersucht Methoden zur Erzeugung von Meta-CoT durch Prozess-Supervision, die Generierung synthetischer Daten und Suchalgorithmen.

• Erzeugung von Meta-CoT und Trainings-Pipeline

  • Es wird eine konkrete Trainings-Pipeline zur Erzeugung von Meta-CoT vorgestellt.
  • Dazu gehört, wie Modelle über Instruction-Tuning trainiert werden können, einschließlich linearisierter Suchspuren und Reinforcement Learning.

• Offene Forschungsfragen

  • Diskutiert werden verschiedene Forschungsfragen, darunter Scaling Laws, die Rolle von Verifizierern und die Möglichkeit, neue Reasoning-Algorithmen zu entdecken.
  • Diese Forschung liefert eine theoretische und praktische Roadmap, um Meta-CoT in LLMs zu ermöglichen, und ebnet damit den Weg für leistungsfähigeres und menschenähnlicheres Reasoning in der Künstlichen Intelligenz.