Feinabstimmung für GPT-3.5 Turbo und API-Updates

• OpenAI hat die Feinabstimmung für GPT-3.5 Turbo sowie API-Updates angekündigt und ermöglicht es Entwicklerinnen und Entwicklern damit, das Modell für spezifische Anwendungsfälle anzupassen.
• Es wird erwartet, dass die Feinabstimmung für GPT-4 im Herbst verfügbar wird.
• Erste Tests haben gezeigt, dass feinabgestimmtes GPT-3.5 Turbo bei bestimmten Aufgaben die Leistung des Basis-GPT-4 übertreffen oder ihr gleichkommen kann.
• Daten, die über die Feinabstimmungs-API übermittelt werden, gehören den Kundinnen und Kunden und werden weder von OpenAI noch von anderen Organisationen zum Training anderer Modelle verwendet.
• Feinabstimmung wurde genutzt, um die Modellleistung in typischen Anwendungsfällen wie verbesserter Steuerbarkeit, verlässlichen Ausgabeformaten und angepasstem Tonfall zu verbessern.
• Feinabstimmung ermöglicht es Unternehmen, Prompts zu verkürzen und dabei eine ähnliche Leistung sicherzustellen; außerdem können 4k Token verarbeitet werden, doppelt so viele wie bei zuvor feinabgestimmten Modellen.
• Feinabstimmung ist am effektivsten, wenn sie mit Techniken wie Prompt Engineering, Information Retrieval und Function Calling kombiniert wird.
• Die Kosten für Feinabstimmung gliedern sich in zwei Teile: anfängliche Trainingskosten und Nutzungskosten.
• OpenAI bietet außerdem babbage-002 und davinci-002 als Ersatz für die ursprünglichen GPT-3-Basismodelle an; diese können über neue API-Endpunkte feinabgestimmt werden.
• Der bisherige Endpunkt /v1/fine-tunes wird am 4. Januar 2024 eingestellt.
• OpenAI arbeitet daran, die Sicherheit von Feinabstimmungs-Deployments zu gewährleisten; die Trainingsdaten für die Feinabstimmung werden über die Moderation API und ein auf GPT-4 basierendes Moderationssystem auf unsichere Trainingsdaten geprüft.
• In naher Zukunft soll außerdem eine UI für Feinabstimmung erscheinen, damit Entwicklerinnen und Entwickler leichter auf Informationen zu laufenden Feinabstimmungsjobs und abgeschlossenen Modell-Snapshots zugreifen können.

[GN⁺]

Hacker-News-Kommentare

• OpenAI hat wie versprochen das Fine-Tuning für GPT-3.5 veröffentlicht, einige Monate nachdem der Zugang zur GPT-4-API geöffnet wurde.
• Trotz Kritik, nicht offen genug zu sein, wird OpenAI für schnelle Innovation anerkannt, mit der das Unternehmen andere Open-Source-AIs wie Llama und Bard übertrifft.
• Die Kosten für die Generierung mit feinabgestimmtem GPT-3.5 Turbo sind 8-mal höher als beim Basismodell, sodass es nur für diejenigen kosteneffektiv ist, die die Größe ihrer Prompts erheblich reduzieren können.
• Es wird ein Vergleich zwischen feinabgestimmtem GPT-3.5 Turbo und dem Modell Llama2 gefordert; Letzteres erfordert gemietete Infrastruktur.
• Einige Nutzer empfinden GPT-3.5 Turbo als repetitiv und ungenau und damit ungeeignet zum Schreiben und Codieren, während andere meinen, dass GPT-4 deutlich besser geworden ist und als Hilfsmittel für Bildung oder Problemlösung nützlich ist.
• Eine von den Nutzern gewünschte Funktion ist eine integrierte Prompt-Aufteilung, um den Bedarf an Tools von Drittanbietern zu beseitigen.
• OpenAIs Entscheidung, keine „unsicheren“ Modelle bereitzustellen, wurde hervorgehoben; sowohl davinci-002 als auch babbage-002 geraten bei „unsicheren“ Vervollständigungen in Endlosschleifen.
• Die Fine-Tuning-Trainingsdaten durchlaufen OpenAIs Moderation API und ein auf GPT-4 basierendes Zensursystem; es wird vermutet, dass Letzteres wegen der hohen Kosten nur verwendet wird, wenn die „Sicherheit“ unklar ist.
• Es wurden Fragen dazu aufgeworfen, wie die für Fine-Tuning-Jobs benötigte Token-Anzahl berechnet wird und wie viele Fine-Tuning-Daten im Allgemeinen nötig sind, um das Verhalten des Basismodells wirksam zu beeinflussen.
• Die Möglichkeit des Fine-Tunings von „Chat“-Modellen wird als interessant angesehen, und es wurden Fragen zur Möglichkeit aufgeworfen, mit feinabgestimmten Modellen aktuelle KI-Detektoren zu umgehen.
• Es wurden Datenschutzbedenken geäußert sowie Fragen dazu gestellt, wie lange OpenAI oder Microsoft Texte aus API-Aufrufen speichern.
• Insgesamt wird die Einführung des Fine-Tunings für GPT-3.5 Turbo als positive Entwicklung gesehen, und es gibt Erwartungen an ein 16k-Fine-Tuning.