OpenAI veröffentlicht ChatGPT- und Whisper-APIs

• ChatGPT- und Speech-to-Text-Funktionen können jetzt in eigenen Apps genutzt werden
• Seit der Vorstellung von ChatGPT im Dezember wurden durch Optimierungen die Kosten um 90 % gesenkt, und das wird an API-Nutzer weitergegeben

ChatGPT API

• Verwendet das Modell gpt-3.5-turbo, das aktuell auch im ChatGPT-Produkt eingesetzt wird
  • Mit $0.002 pro 1k Tokens 10-mal günstiger als das bisherige GPT-3.5
  • Auch für andere Zwecke als Chat das beste Modell; ein Wechsel von text-davinci-003 zu gpt-3.5-turbo ist einfach möglich (wird empfohlen)
• Die API nimmt unstrukturierten Text als Eingabe entgegen, der aus Tokens besteht
  • Intern wird dieser als eine Sequenz von Tokens gerendert, die als ChatML bezeichnet wird
• gpt-3.5-turbo soll fortlaufend auf die neueste Version aktualisiert werden. Aktuell wird gpt-3.5-turbo-0301 bis zum 1.6. unterstützt
• Im April soll eine neue stabile Version veröffentlicht werden
• Eine Dedicated Instance wird ebenfalls separat angeboten (mit Unterstützung für längeren Kontext und geeignet für Nutzer, die mehr als 450 Millionen Tokens pro Tag verarbeiten)

Whisper API

• Speech-to-Text-Modell, das im September 2022 als Open Source veröffentlicht wurde
• Wurde von der Entwickler-Community positiv bewertet, war aber schwer zu betreiben
• Das Modell large-v2 ist als API für $0.006/Minute verfügbar
• Nutzbar über die Endpunkte transcriptions / translations
• Unterstützt die Formate m4a, mp3, mp4, mpeg, mpga, wav, webm

Frühe Nutzerunternehmen

• Snap: Bietet mit My AI for Snapchat+ einen Chatbot auf Basis von ChatGPT an; erstellt Empfehlungen und Gedichte (Haiku) für Freunde
• Quizlet: Setzt ChatGPT in Q-Chat ein, einem adaptiven KI-Tutor, der Fragen passend zum Lernfortschritt stellt
• Instacart: In die Ask-Funktion integriert, über die Fragen zu Lebensmitteln gestellt und beantwortet werden können
• Shopify: Führt im Shop-App eine Shopping-Assistent-Funktion ein
• Speak (Korea): Sprachlern-App, die die Whisper API nutzt.

[frogred8]

Im Original steht, dass es $0.002 pro 1k Token sind.

It is priced at $0.002 per 1k tokens

Und weil mich die Definition von Token interessiert hat, habe ich noch etwas weiter gesucht; offenbar wird das anhand der Anzahl der Ein-/Ausgabezeichen bestimmt.

The number of tokens processed in a given API request depends on the length of both your inputs and outputs. As a rough rule of thumb, 1 token is approximately 4 characters or 0.75 words for English text.

[xguru]

Oh, an einer wichtigen Stelle war ein Tippfehler drin T_T, ich habe ihn korrigiert.

[lukaid]

Jede Woche prasseln neue AI-News auf uns ein … das ist spannend, aber auch beängstigend … und während man versucht, keinen Trend zu verpassen, scheint die Erschöpfung auch ziemlich groß zu sein.

[functor]

OpenAI ist wirklich beeindruckend.