11 Punkte von kuroneko 2023-08-23 | 1 Kommentare | Auf WhatsApp teilen
  • OpenAI hat die Unterstützung für Feinabstimmungsmodelle für GPT-3.5 Turbo angekündigt.
  • Durch Feinabstimmung kann das Modell Anweisungen besser befolgen und Ausgabeformat sowie Schreibstil deutlich konsistenter beibehalten.
  • Neben Leistungsverbesserungen ist Feinabstimmung besonders effektiv dabei, Prompts zu verkürzen; eine Kürzung um bis zu 90 % ist möglich, was Kosten senken kann.
  • Durch das Hochladen der Trainingsdaten und das Aufrufen der API wird das Feinabstimmungsmodell bereitgestellt.
  • Für Feinabstimmungsmodelle fallen sowohl für das Training als auch für die Nutzung separate Kosten an.
  • Bestehende Feinabstimmungsmodelle auf Basis der bisherigen GPT-3-Modelle werden am 4. Januar 2024 eingestellt; ein Wechsel zu GPT-3.5 Turbo ist erforderlich.

1 Kommentare

 
kuroneko 2023-08-23

Im Text fehlt noch ein Punkt:
Es heißt, dass feinabgestimmte Modelle von GPT-3.5 Turbo bei einem äußerst kleinen Teil sehr spezieller Aufgaben eine bessere Leistung als GPT-4 gezeigt haben.

Vor allem, weil sich die Prompts verkürzen lassen, könnte das eine Alternative sein, wenn man bedenkt, dass GPT-4 um ein Vielfaches teurer ist.