OpenAI o1-pro jetzt per API verfügbar

• 150 $ für Eingabe-Token, 600 $ für Ausgabe-Token (pro 1 Million)
  • 150-mal teurer als o1-mini
• Die Modelle der o1-Serie wurden durch Reinforcement Learning darauf trainiert, vor der Antwort nachzudenken und komplexe Schlussfolgerungen durchzuführen
  • Das Modell o1-pro nutzt mehr Rechenressourcen, um tiefer nachzudenken und konsistente, hochwertige Antworten zu liefern
• Nur in der Responses API verfügbar und unterstützt die folgenden Funktionen
  • Unterstützung für mehrere Tool-Aufrufe
  • Unterstützung für Modellinteraktionen über mehrere Turns, bevor auf API-Anfragen geantwortet wird
• 200.000 Kontextfenster, maximale Anzahl an Ausgabe-Token 100.000
• Cutoff ist der 1. Oktober 2023

[GN⁺]

Hacker-News-Kommentare

• Dieses Modell kann nur über die neue Responses API verwendet werden. Wenn man Code hat, der Chat Completions nutzt, muss man auf Responses upgraden, um es zu unterstützen.
  • Es könnte einige Zeit dauern, bis ich Support in meinem LLM-Tool ergänze.
• Preis: 150 $ pro 1 Mio. Input-Token, 600 $ pro 1 Mio. Output-Token.
  • Sehr teuer, aber nachdem ich es zusammen mit einem ChatGPT-Pro-Abo genutzt habe, ist es erstaunlich leistungsfähig.
  • Wenn man ihm eine Codebasis mit 100.000 Token gibt, findet es subtile Bugs, die ich komplett übersehen habe.
  • Wenn ich die API-Preise mit dem Abo-Preis vergleiche, den ich zahle, fühle ich mich ein bisschen schuldig.
• Das Rendern eines SVGs mit einem Pelikan auf einem Fahrrad hat 94 Cent gekostet.
• Wenn man annimmt, dass ein motivierter Büroangestellter mit 160.000 $ Jahresgehalt pro Tag 6 Stunden zuhört oder spricht, liegen die Kosten pro 1 Mio. Token bei etwa 10.000 $.
  • OpenAI hat mit den Preisen seines Frontier-Modells nun ein Niveau erreicht, das mit hochqualifizierten Menschen vergleichbar ist.
  • o3 pro könnte das ändern, aber ich denke, sie hätten dieses Modell nicht veröffentlicht, wenn o3 ohnehin bald erscheinen würde.
• Wissens-Cutoff 2023 und 200k Kontextfenster.
  • Etwas enttäuschend.
• o1-pro ist im Vergleich zu allen anderen Releases, einschließlich Grok 3 think und Claude 3.7 think, immer noch herausragend.
  • Ich wollte mein Pro-Abo kündigen, aber 4.5 ist für Nicht-Coding-/Mathe-Aufgaben zu gut.
  • Ich kann o3 pro kaum erwarten.
• Es gibt Leute, die es getestet haben und mochten.
  • Ich bin sehr überzeugt von Sonnet 3.7.
  • Ich wünschte, es wäre schneller.
  • Die meisten Probleme sind Ausführungsprobleme, und ich möchte, dass die AI sie schneller löst, als ich selbst coden könnte.
• o1-pro scheint für den Einsatz bei Switch-Tools oder zum Gegenprüfen einer Codebasis gedacht zu sein.
  • Selbst bei niedrigerem Preis würde es vermutlich viel Arbeit und Domänenwissen erfordern, um die 10-fache Geschwindigkeit von Sonnet zu erreichen.
• o1-pro unterstützt kein Streaming.
  • Vermutlich nutzt es eine Best-of-n-artige Technik, um mehrere Antworten zu durchsuchen.
  • Ich denke, mit llm-consortium ließen sich für deutlich weniger Geld ähnliche Ergebnisse erzielen.
  • Man kann mehrere Modelle prompten und dann die beste Antwort auswählen oder synthetisieren.
  • Das lässt sich wiederholen, bis ein Vertrauensschwellenwert erreicht ist.
• Zuerst dachte ich, ich könnte es der Plattform hinzufügen, aber nachdem ich den Preis gesehen habe, zögere ich, das Modell für die Mehrheit der Nutzer zu aktivieren.
  • Abgesehen von wohlhabenden Unternehmen würden sich die meisten Nutzer damit selbst ins Knie schießen.
• Ich habe immer vermutet, dass o1-Pro ein Workflow des o1-Modells sein könnte.
  • Es könnte ein Verfahren sein, das auf 8 o1-Instanzen verteilt und die Ergebnisse aggregiert.