OpenAI stellt auf dem DevDay neue Modelle und Entwicklerprodukte vor

• Vorgestellt wurden das GPT-4 Turbo-Modell mit Unterstützung für ein 128K-Kontextfenster, die GPT-4 API mit Vision, die Assistants API, die DALL-E 3 API sowie ein neues GPT-3.5 Turbo.
• GPT-4 Turbo
  • Unterstützt ein 128K-Kontextfenster (Context Window) und wurde mit Daten bis April 2023 trainiert.
  • Im Vergleich zu GPT-4 sind Eingabe-Token 3-mal und Ausgabe-Token 2-mal günstiger.
  • Befolgt Anweisungen für Antworten in bestimmten Formaten besser und bietet auch einen JSON-Modus mit garantierten JSON-Antworten.
  • Unterstützt reproduzierbare Ausgaben auf Basis eines seed; außerdem ist geplant, eine Funktion zum Zurückgeben von Log-Wahrscheinlichkeiten für Ausgaben hinzuzufügen.
  • Auch GPT-3.5 Turbo wurde aktualisiert.
• Assistants API
  • Eine KI für spezielle Einsatzzwecke mit Code Interpreter, Retrieval und Function Calling.
  • Verwaltet den Zustand threadbasiert und kann dadurch unbegrenzt lange Inhalte verarbeiten.
  • Code Interpreter - In einer Sandbox-Umgebung kann Python-Code geschrieben und ausgeführt werden.
  • Retrieval - Durchsucht Inhalte mithilfe von Wissen außerhalb des Modells, etwa vom Nutzer bereitgestellten Dokumenten, und antwortet darauf basierend.
  • Function Calling - Kann vom Nutzer definierte Funktionen passend aufrufen und die Antworten in die Ergebnisse einbeziehen.
• Weitere neue APIs
  • GPT-4 Turbo wurde um Bilderkennung erweitert.
  • DALL-E 3 wurde als API veröffentlicht, zu einem Preis von 0,04 US-Dollar pro Bildgenerierung.
  • Eine TTS API wurde hinzugefügt.
• Modellanpassung
  • Ein feinabgestimmtes GPT-4-Modell soll mit experimentellem Zugang veröffentlicht werden.
  • Für große Organisationen wird ein Custom-Model-Service angeboten, um maßgeschneiderte Modelle zu erstellen.
    • Dazu gehört etwa Training auf proprietären Datensätzen mit mehreren Milliarden Token.
• Preissenkungen
  • GPT-4 Turbo 128K kostet 0,01 US-Dollar pro Eingabe-Token und 0,03 US-Dollar pro Ausgabe-Token.
    • Im Vergleich zu bisher sind Eingabe-Token 3-mal und Ausgabe-Token 2-mal günstiger geworden.
  • GPT-3.5 Turbo 16K wird zu 0,001 US-Dollar pro Eingabe-Token und 0,002 US-Dollar pro Ausgabe-Token angeboten.
    • Im Vergleich zu bisher sind Eingabe-Token 3-mal und Ausgabe-Token 2-mal günstiger geworden; gegenüber dem 4K-Modell sind Eingabe-Token zudem um 33 % günstiger.
  • Das feinabgestimmte Modell von GPT-3.5 Turbo wird zu 0,003 US-Dollar pro Eingabe-Token und 0,006 US-Dollar pro Ausgabe-Token angeboten.
    • Im Vergleich zu bisher sind Eingabe-Token 4-mal und Ausgabe-Token 2,7-mal günstiger geworden.

[xguru]

Seit gestern ist auch bei GN⁺ GPT-4 Turbo im Einsatz.
Die Antworten sind spürbar schneller und verstehen Anweisungen besser.
Es fasst wie vorgegeben gut zusammen und liefert auch sauber aufbereitete Ergebnisse.
Ursprünglich habe ich gemischte englische Prompts verwendet, aber inzwischen kommen auch mit rein koreanischen Prompts hervorragende Antworten heraus.

[botplaysdice]

Ich kenne mich mit KI zwar nicht besonders gut aus, aber das Tempo, in dem die Preise fallen, wird wohl immer schneller, oder? Wie die Welt in ein, zwei Jahren wirklich aussehen wird, kann ich mir kaum vorstellen.

[tkwlsrl]

Der oben genannte Preis pro Token ist der Preis pro 1.000 Token. Bitte beachten Sie das.

[shw00]

Und 128K Token … damit dürften bei meinen Anwendungsfällen Context-Probleme jetzt normalerweise verschwinden.

[xguru]

Ah, ich wollte das gerade zum Posten aufbereiten, aber ich bin zu spät dran ;_;

[kuroneko]

• HN-Thread

Schon als Anthropic das 100K-Modell vorgestellt hat, fand ich das beeindruckend, aber jetzt scheint GPT-4 mit 128K Tokens wieder die Nase vorn zu haben.
Auch die Preise wurden insgesamt um ein Vielfaches gesenkt, da fragt man sich wirklich, wie weit OpenAIs technologische Fähigkeiten noch reichen...

Auf jeden Fall sehr willkommen.
GPT-4 war unterschwellig ziemlich teuer (vor allem mit 16K), aber jetzt wurde die Token-Größe massiv erhöht und es ist wirklich deutlich billiger geworden. +_+

Und auf die Assistants API bin ich auch neugierig, die werde ich wohl mal ausprobieren.
Wenn man für die Suche keine Embeddings verwenden muss, scheint das vielleicht noch vorteilhafter zu sein...?

[kuroneko]

KI-Zusammenfassung des HN-Threads.

• OpenAI hat neue Modelle und Entwicklerprodukte angekündigt, darunter GPT-4 Turbo mit einer Kontextlänge von 128.000 Tokens, die Assistants API und niedrigere Preise.
• Diese Ankündigungen sollen den Lock-in auf die OpenAI-API-Plattform erhöhen, während der Wettbewerb intensiver wird.
• GPT-Agenten und Assistants funktionieren als „Black Box in der Black Box“, die sich nicht auf andere Plattformen übertragen lässt.
• DALL-E 3 kostet 0,04 US-Dollar pro Bild und ist damit 10-mal teurer als Konkurrenzprodukte.
• Fine-Tuning für ChatGPT 3.5 kostet nun nur noch ein Drittel, wodurch Fine-Tuning attraktiver wird.
• Die Kontextlänge von 128K bei GPT-4 Turbo ist attraktiv, aber Open-Source-Modelle liegen bei Genauigkeit und Fähigkeiten weiterhin zurück.
• Kunden können nun 2–3 Millionen US-Dollar zahlen, um benutzerdefinierte GPT-N-Modelle mit proprietären Daten vorzutrainieren.
• Startup-Kategorien wie vectorDB und Dateiverarbeitung könnten betroffen sein, da OpenAI ähnliche Funktionen anbietet.
• OpenAI versucht, Entwickler dazu zu bringen, von seiner Plattform abhängig zu werden, ohne langfristige Risiken zu berücksichtigen.
• Da der Wettbewerb abnimmt, werden Entwickler Risiken wie Lock-in auf Basis aktueller Bedürfnisse und kurzfristiger Vorteile in Kauf nehmen.

[brainer]

Da gibt es Halluzinationen.

Die Preise sind alle angegeben.