- "Less Is More for Alignment"
- Ein feinabgestimmtes LLaMA-Modell, das ohne Reinforcement Learning oder Preference Modeling nur mit 1000 sorgfältig kuratierten Prompts trainiert wurde
- In 43 % der Fälle GPT-4 ebenbürtig oder bevorzugt, im Vergleich zu Bard bei 58 %, und 65 % besser als DaVinci003, das mit menschlichem Feedback trainiert wurde
- Die Hypothese der Arbeit lautet, dass fast das gesamte Wissen eines LLMs während des Pretrainings gelernt wird und Alignment ein einfacher Prozess ist, bei dem das Format bzw. der Stil der Interaktion mit Nutzern erlernt wird
- Neues Paper von Meta AI
4 Kommentare
Das Sejong-Projekt hätte konsequent weitergeführt werden müssen, um Open-Source-Daten für koreanische Sprachmodelle aufzubauen. Wirklich ein sehr bedauerliches Projekt...
Es ist schade, dass sich die englische Leistung so schnell verbessert, die meisten Modelle außer GPT aber mit Koreanisch nicht besonders gut zurechtkommen...
Das Koreanisch-Training von Anthropic Claude ist schon auf einem ziemlich hohen Niveau, aber in manchen Punkten ist die Ausdrucksfähigkeit noch etwas anders als bei ChatGPT.
T_T Stimmt, auf Koreanisch ist abgesehen von der GPT-API alles auf Schrott-Niveau ...