Das eigene Llama 2 feinabstimmen, um GPT-3.5/4 zu ersetzen

• Auf HN ist das Interesse an der Feinabstimmung von Open-Source-LLMs stark gestiegen (z. B. durch den Beitrag von Anyscale)
• Es werden mehrere Jahre an Erfahrung und Erkenntnissen zur Modell-Feinabstimmung sowie praktischer Code geteilt
• Bereitgestellt wird ein Set von Notebooks zu Datenlabeling, Feinabstimmung, effizienter Inferenz-Ausführung sowie Kosten-/Leistungsbewertung
• Training eines 7B-Modells, das auf dem Testset zu 95 % mit den Labels von GPT-4 übereinstimmt
• Was ist Feinabstimmung? Eine stärkere Form des Promptings als das Formulieren von Anweisungen in Textform
• Ein bestehendes Modell wird mit Beispiel-Eingabe-/Ausgabe-Paaren für das Training feinabgestimmter Modelle trainiert
• Vor- und Nachteile von Prompting und Feinabstimmung
• Großer Vorteil der Feinabstimmung: deutlich effektiver beim Steuern des Modellverhaltens, sodass oft auch wesentlich kleinere Modelle ausreichen
• Ein feinabgestimmtes Llama-7B-Modell ist pro Token 50-mal günstiger als GPT-3.5 und liefert in vielen Anwendungsfällen gleich gute oder bessere Ergebnisse
• Beispiel: Die Klassifizierung von 2 Mio. Rezepten mit GPT-4 kostet 23.000 US-Dollar, während unser feinabgestimmtes Modell eine ähnliche Leistung wie GPT-4 zeigt und für die Ausführung auf dem gesamten Datensatz nur 19 US-Dollar kostet
• Es wird an einem Open-Source-Produkt namens OpenPipe gearbeitet
• Das Produkt OpenPipe soll Ingenieuren helfen, Feinabstimmung so einfach wie möglich einzusetzen
• Der vorliegende Beitrag teilt, was über Feinabstimmung gelernt wurde

[GN⁺]

Hacker-News-Kommentare

• Ein Artikel über den Einsatz von Fine-Tuning bei Llama 2 als Alternative zu GPT-3.5/4
• Einige Nutzer stellten fest, dass GPT-3.5 für Übersetzungsaufgaben 100-mal günstiger ist als Llama 2; Llama 7B liefert schlechte Übersetzungen
• Diskussion über die aggressive Preisstrategie von OpenAI für GPT-3.5; vermutet wird ein Versuch, andere Anbieter zu verdrängen und Nutzer von den eigenen Modellen abhängig zu machen
• Erörtert wird die Möglichkeit, die Ausgaben von GPT und anderen LLMs zum Training interner Ersatzmodelle zu verwenden, was für Nutzer regulärer APIs im produktiven Maßstab eine kosteneffiziente Lösung sein könnte
• Zweifel an der Behauptung, ein feinabgestimmtes Llama-7B-Modell sei 50-mal günstiger als GPT-3.5; einige Nutzer vermuten, dass dies nur mit Self-Hosting erreichbar ist
• Es werden Fragen zur Wirksamkeit von Fine-Tuning im Vergleich zu Low-Rank Adaptation aufgeworfen
• Einige Nutzer meinen, der Vergleich zwischen feinabgestimmten Llama-Modellen und GPT-3.5 sei irreführend, und verweisen auf Probleme bei angemessener Inferenzlatenz und Skalierbarkeit
• Die Qualität feinabgestimmter Llama-2-Modelle ist nicht unbedingt besser als die von ChatGPT; zudem erfordert Fine-Tuning hochwertige Datensätze, die sich nicht leicht erstellen lassen
• Es werden Fragen zur Konsistenz und Fehlerquote von GPT Function Calling gestellt
• Nutzer fragen sich, welches Open-Source-LLM sich am besten für das Fine-Tuning eigener Modelle eignet
• Es wird um Klarstellung gebeten, ob Fine-Tuning-Datensätze aus Eingabe-/Ausgabe-Paaren bestehen müssen oder auch autoregressiv sein können
• Nutzer interessieren sich für Materialien, mit denen sie lernen können, wie man solche Modelle feinabstimmt, besonders für Einsteiger
• Dieser Artikel wird als wertvolle Ressource für Menschen angesehen, die gerade im Bereich ML/LLM anfangen.