1 Punkte von angpangman 5 시간 전 | Noch keine Kommentare. | Auf WhatsApp teilen

GPT-5.6 ist in die Modelle Sol/Terra/Luna unterteilt, dazu kommen noch die Modi Max/Ultra.
Ich war jedes Mal unsicher, was man für welche Aufgabe wählen sollte, und habe deshalb die veröffentlichten Benchmarks dazu geordnet.

Zuerst muss man zwei Achsen unterscheiden

  • Modellklasse (Grade): Sol / Terra / Luna. Sie bestimmt das Intelligenzniveau und die Grundkosten.
  • Betriebsmodus (Mode): Standard-Inferenz / Max / Ultra. Hier unterscheiden sich Rechenaufwand und Verarbeitungsstruktur.
  • Bei Max gräbt sich ein einzelner Agent tief in ein Problem ein, bei Ultra arbeiten 4 Agenten parallel und teilen sich die Aufgabe.

API-Preise (Eingabe/Ausgabe pro 1 Million Token)

  • Sol $5 / $30
  • Terra $2.5 / $15
  • Luna $1 / $6
  • Bis zu 5-facher Unterschied. Gecachte Lesezugriffe sind 90 % günstiger, daher wird der reale Abstand bei wiederholten Aufgaben noch kleiner.

Die Leistung geht nicht im gleichen Maß auseinander wie der Preis (Terminal-Bench 2.1)

  • Sol Ultra 91.9% / Sol 88.8% / Terra 87.4% / Luna 84.7%
  • Der Unterschied zwischen Sol und Luna beträgt trotz 5-fachem Preis nur 4.1 Prozentpunkte.
  • Zwischen Sol und Terra liegen 1.4 Prozentpunkte, der Preis ist aber doppelt so hoch.
  • Terra (87.4%) übertrifft das Flaggschiff der vorherigen Generation GPT-5.5 (85.6%).

Bei alltäglicher Wissensarbeit wird der Abstand noch kleiner (Agents' Last Exam)

  • Sol 52.7% / Terra 50.4% / Luna 50.3% / GPT-5.5 46.9%
  • Zwischen Terra und Luna liegt nur ein Unterschied von 0.1 Prozentpunkten. Für einfache Zusammenfassungen oder Q&A reicht Luna aus.

Sol ist nicht immer auf Platz 1

  • SWE-Bench Pro (Analyse von Code-Strukturen): Sol 64.6% / Claude Mythos 5 80.3% / Fable 5 80.0%
  • Umgekehrt liegt Sol bei Aufgaben vorn, bei denen die Umgebung direkt manipuliert wird.
    OSWorld 2.0 (Computersteuerung): Sol 62.6% vs Claude Opus 4.8 54.8%
    BrowseComp (Browsing): Sol Ultra 92.2% / Sol 90.4%
  • Es scheint also davon abzuhängen, ob es um Terminal-Bedienung oder um die Analyse von Code-Strukturen geht.

Der Ultra-Modus legt weniger zu als erwartet

  • Coding +3.1 Prozentpunkte, Sicherheitsanalyse +3.1 Prozentpunkte, Browsing +1.8 Prozentpunkte
  • Um diese 2 bis 3 Prozentpunkte zu gewinnen, werden etwa 3-mal so viele Token verbraucht.
  • Sinnvoll wirkt er nur bei Aufgaben mit hohen Fehlerkosten oder wenn Präzision zwingend erforderlich ist.

Zusammengefasst

  • Luna: einfache Wiederholungsaufgaben, Massenverarbeitung, Geschwindigkeit zuerst
  • Terra: die meisten allgemeinen Aufgaben. Faktisch der Standard
  • Sol: komplexe logische Strukturen, Aufgaben mit hohen Fehlerkosten
  • Max: tief in ein einzelnes Problem
  • Ultra: mehrere Aufgaben parallel

Alle Zahlen basieren auf den Benchmark-Tabellen im offiziellen OpenAI-Launch-Beitrag.
https://openai.com/index/gpt-5-6/

Benchmarks sind nur Einzelresultate, daher kann es Unterschiede zu realen Projektkosten oder zum tatsächlichen Nutzungseindruck geben.
Gerade bei Bereichen wie SWE-Bench Pro, wo sich die Rangfolge umkehrt, kann die Interpretation je nach Aufgabentyp anders ausfallen.
Falls ihr beim eigenen Einsatz Bereiche erlebt habt, in denen sich das anders angefühlt hat, würde mich das interessieren.
Wenn ich etwas falsch gelesen habe, sagt bitte Bescheid, dann korrigiere ich es.

Noch keine Kommentare.

Noch keine Kommentare.