- Unter den 170 bewerteten Modellen belegte Claude Opus 5 Adaptive Reasoning·Max Effort mit 61 Punkten im Intelligence Index den 1. Platz, gefolgt von Xhigh Effort und Claude Fable 5 mit jeweils 60 Punkten
- Intelligence Index v4.1 kombiniert 9 Bewertungen zu Agentenaufgaben, Coding, wissenschaftlichem Schlussfolgern, Wissenszuverlässigkeit und Long-Context-Reasoning und berücksichtigt bei der Leistungsmessung auch die skalierte Denkzeit von Reasoning-Modellen
- Bei der Ausgabegeschwindigkeit war Mercury 2 mit 901.6 tokens/s am schnellsten, bei der Verzögerung bis zum ersten Token war Gemini 2.5 Flash-Lite mit 0.34 Sekunden am kürzesten, und Llama 4 Scout bietet ein maximales Kontextfenster von 10M Tokens
- Preise werden nicht nur nach Token-Stückpreis, sondern auch nach den auf Kosten pro Aufgabe gewichteten Eingabe-, Cache-Hit-, Cache-Write-, Reasoning- und Antwort-Tokens verglichen; Cache-Write- und Speicherkosten unterscheiden sich je nach Anbieter
- Unter den Open-Weight-Modellen erreichte GLM-5.2 (max) mit 51 Punkten den höchsten Wert, lag damit aber 10 Punkte unter dem Gesamtersten; bei der Modellauswahl sollten daher neben Intelligenz auch Kosten, Geschwindigkeit, Latenz und Kontextfenster berücksichtigt werden
Intelligenz-Rang von Claude Opus 5
- Claude Opus 5 (Adaptive Reasoning, Max Effort) wurde mit 61 Punkten im Intelligence Index bewertet und liegt damit unter 170 bewerteten Modellen auf Platz 1
- Die Top-5-Modelle sind wie folgt
- Claude Opus 5 (Adaptive Reasoning, Max Effort): 61 Punkte
- Claude Opus 5 (Adaptive Reasoning, Xhigh Effort): 60 Punkte
- Claude Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback): 60 Punkte
- GPT-5.6 Sol (max): 59 Punkte
- Claude Opus 5 (Adaptive Reasoning, High Effort): 59 Punkte
- Die Konfiguration Max Effort liegt auch unter den 126 Reasoning-Modellen auf Platz 1; Reasoning-Modelle führen vor der Antwort erweitertes Denken aus, um komplexe Probleme zu verarbeiten
Aufbau der Bewertung in Intelligence Index v4.1
- Intelligence Index v4.1 kombiniert die folgenden 9 Bewertungen
- GDPval-AA v2: agentenbasierte reale Arbeitsaufgaben
- 𝜏³-Banking: Agenten-Tool-Nutzung
- Terminal-Bench v2.1: agentenbasiertes Coding und Terminal-Nutzung
- SciCode: Coding
- Humanity's Last Exam: Schlussfolgern und Wissen
- GPQA Diamond: wissenschaftliches Schlussfolgern
- CritPt: physikalisches Schlussfolgern
- AA-Omniscience: Wissensgenauigkeit und Nicht-Halluzinationsrate
- AA-LCR: Long-Context-Reasoning
- Je nach Anwendungsfall können spezifische Bewertungsergebnisse wichtiger sein als der kombinierte Intelligenz-Score
- Zu den separaten Bewertungsrubriken gehören außerdem die folgenden Benchmarks
- AA-Briefcase: wissensbasierte Agentenarbeit
- AutomationBench-AA: agentenbasierte SaaS-Workflows
- Harvey LAB-AA: rechtliche Agentenaufgaben
- EnterpriseOps-Gym-AA: agentenbasierte Geschäftsabläufe
- IFBench: Befolgung von Anweisungen
- APEX-Agents-AA: langfristige Agentenaufgaben
- ITBench-AA: Root-Cause-Analyse von Kubernetes-Incidents
- MMMU-Pro: visuelles Schlussfolgern
Kennzahlen für Wissensarbeit, Zuverlässigkeit und Offenheit
- AA-Briefcase Elo kombiniert Elo für Analysequalität, Elo für Präsentation und die Bestehensquote anhand von Bewertungskriterien
- Die Bestehensquote wird über synthetische Eins-gegen-eins-Duelle in Elo umgerechnet
- Elo und die Grenzen des 95%-Konfidenzintervalls werden so begrenzt, dass sie nicht unter 0 fallen
- Der AA-Omniscience Index misst Wissenszuverlässigkeit und Halluzinationen auf einer Skala von -100 bis 100
- Richtige Antworten werden belohnt und Halluzinationen bestraft, für Antwortverweigerung gibt es jedoch keine Strafe
- 0 Punkte bedeuten gleich viele richtige wie falsche Antworten, negative Werte bedeuten mehr falsche als richtige Antworten
- Der Openness Index bewertet die Offenheit eines Modells mit einem normalisierten Score von 0 bis 100; je höher, desto offener
- Es wird unterschieden, ob Gewichte offengelegt sind; Modelle mit offengelegten Gewichten, die für die kommerzielle Nutzung jedoch eine kostenpflichtige Lizenz o. Ä. erfordern, werden als
Commercial Use Restrictedgekennzeichnet
Ranking der Open-Weight-Modelle
- Von den 170 bewerteten Modellen sind 94 Open-Weight-Modelle
- Die bestplatzierten Open-Weight-Modelle im Intelligence Index sind wie folgt
- GLM-5.2 (max): 51 Punkte
- MiniMax-M3: 44 Punkte
- DeepSeek V4 Pro (Reasoning, Max Effort): 44 Punkte
- GLM-5.2 (max) erzielte unter den Open-Weight-Modellen den höchsten Score
Ausgabegeschwindigkeit und Bearbeitungszeit pro Aufgabe
- Mercury 2 ist mit 901.6 tokens/s bei der Ausgabegeschwindigkeit am schnellsten
- Gemini 3.5 Flash-Lite: 435.1 tokens/s
- HyperNova 60B 2605: 427.6 tokens/s
- Auch Granite 4.0 H Small gehört zur Spitzengruppe
- Die Ausgabegeschwindigkeit ist bei Streaming-Modellen die Zahl der empfangenen Tokens pro Sekunde, nachdem der erste Chunk eingetroffen ist und das Modell Tokens erzeugt
- Die Zeit pro Aufgabe im Intelligence Index wird berechnet, indem die Zahl der Ausgabetokens pro Aufgabe durch die Ausgabegeschwindigkeit geteilt und die relative Gewichtung der einzelnen Benchmarks angewendet wird
- Die Zeit bis zum ersten Token (TTFT) und sonstige Overheads sind nicht enthalten
- Wenn eine eigene API existiert, wird deren API-Leistung verwendet; wenn keine eigene API vorhanden ist wie bei Meta Llama, wird der Median mehrerer Anbieter verwendet
Latenz und End-to-End-Antwortzeit
- Das Modell mit der kürzesten Zeit bis zum ersten Antwort-Token ist Gemini 2.5 Flash-Lite (Non-reasoning) mit 0.34 Sekunden
- Command A+: 0.42 Sekunden
- North Mini Code: 0.49 Sekunden
- Auch Gemini 2.5 Flash gehört zu den Modellen mit geringer Latenz
- Die Latenz bis zum ersten Token ist die Zeit vom API-Request bis zum Eintreffen des ersten Antwort-Tokens
- Bei Reasoning-Modellen ist auch die Denkzeit vor der Antwort enthalten
- Bei Modellen ohne Streaming-Support wird die Zeit bis zum Empfang der vollständigen Antwort verwendet
- Die End-to-End-Antwortzeit für 500 Tokens setzt sich aus folgenden Faktoren zusammen
- Eingabezeit bis zum ersten Antwort-Token
- Denkzeit, die Reasoning-Modelle vor der Antwort verwenden
- Zeit zur Erzeugung von 500 Antwort-Tokens auf Basis der Ausgabegeschwindigkeit
- Für die Zahl der Denktokens wird der Durchschnitt aus Messungen mit 60 unterschiedlichen Prompts verwendet
Preise und Kosten pro Aufgabe
- Für Preisvergleiche werden Dollar-Preise pro 1 Million Tokens für Cache-Hits, Eingabe- und Ausgabetokens verwendet
- In der Liste werden Devstral 2 und North Mini Code mit $0.00 pro 1 Million Tokens angezeigt, gefolgt von Gemma 3 4B und Gemma 3 27B
- Die günstigsten Modelle nach gemischtem Stückpreis sind wie folgt
- Nova Micro: $0.03/1M tokens
- Sarvam 30B (high): $0.03/1M tokens
- Gemma 4 E4B (Non-reasoning): $0.03/1M tokens
- Die Kosten pro Aufgabe im Intelligence Index werden berechnet, indem die Preise für Eingabe-, Cache-Hit-, Cache-Write-, Reasoning- und Antwort-Tokens jeder Bewertung durch die Zahl der Aufgaben geteilt und die Bewertungsgewichte innerhalb des Index angewendet werden
- Die Gesamtkosten für die Ausführung des gesamten Index werden anhand der tokenbasierten Nutzung pro Bewertung ohne Wiederholungen und der Preise je Tokentyp berechnet
- Der angezeigte gemischte Cache-Preis verwendet nur die Kosten für Cache-Hits; andere Cache-Kosten unterscheiden sich je nach Anbieter
- Anthropic berechnet Cache-Write-Kosten separat; die Tarife für 5 Minuten und 1 Stunde TTL unterscheiden sich, wobei 1 Stunde teurer ist
- Google Vertex/Gemini berechnet zusätzlich zum Cache-Hit-Preis stündliche Speicherkosten
- Einige Anbieter verwenden Staffelpreise für Prompts mit mehr als 200K Tokens
- OpenAI und DeepSeek berechnen in der Regel nur Cache-Hit-Preise ohne Write- oder Speicherkosten
Token-Nutzung und Kontextfenster
- Die Zahl der Ausgabetokens pro Aufgabe wird berechnet, indem die Ausgabetokens jeder Bewertung mit der relativen Gewichtung im Intelligence Index multipliziert und dann durch die Zahl der Aufgaben ohne Wiederholungen geteilt werden
- Die Modelle mit den größten Kontextfenstern sind wie folgt
- Llama 4 Scout: 10M Tokens
- Grok 4.20 0309: 2M Tokens
- Gemini 1.5 Pro (May)
- Grok 4.1 Fast
- Das Kontextfenster ist die maximale Grenze aus Eingabe- und Ausgabetokens zusammen; das Limit für Ausgabetokens ist in der Regel deutlich kleiner und variiert je nach Modell
- Große Kontextfenster sind relevant für RAG-Workflows, die Informationen aus großen Datenmengen abrufen und daraus Schlussfolgerungen ziehen
Größe von Open-Weight-Modellen
- Die Modellgröße wird unterschieden in die Gesamtzahl der Parameter, also trainierbare Gewichte plus Biases, und die aktiven Parameter, die bei der tatsächlichen Inferenz ausgeführt werden
- Bei Mixture-of-Experts-Modellen wählt der Routing-Mechanismus pro Token nur einen Teil der Experten aus, daher ist die Zahl der aktiven Parameter kleiner als die Gesamtzahl
- Dense-Modelle verwenden alle Parameter, daher sind aktive Parameter und Gesamtparameter identisch
Vergleichsumfang und Nutzung
- Modelle werden über mehrere Dimensionen hinweg verglichen, darunter Intelligenz, Preis, Ausgabegeschwindigkeit, Latenz bis zum ersten Token, End-to-End-Antwortzeit und Größe des Kontextfensters
- Die Leistungskennzahlen wurden für 586 Modelle mit standardisierten Prompts direkt gemessen
- Auf der Detailseite jedes Modells können detaillierte Kennzahlen und direkte Vergleiche mit ähnlichen Modellen eingesehen werden; mit dem Model Selector lässt sich anpassen, welche Modelle im Diagramm angezeigt werden
1 Kommentare
Hacker-News-Meinungen
Diese Rangliste ist für Endnutzer bei der Entscheidung, welches Modell sie wann nutzen sollen, faktisch bedeutungslos geworden
Jedes Modell hat in bestimmten Bereichen und Aufgaben unterschiedliche Stärken und Schwächen, daher ist ein Single-Score-Ranking nutzlos; inzwischen gibt es auch nicht mehr das eine „beste Modell“, und je nach Komplexität der Aufgabe braucht man möglicherweise gar nicht das beste Modell
Für UI-Design könnte man zum Beispiel Fable nutzen, für das Design von Backend-Systemen Sol, für die Entwicklung von Schwachstellen Kimi K3; solche Kennzahlen sind letztlich eher Zahlen zum Angeben für Modellfirmen
Dann stellte sich heraus, dass ein älteres und kleineres Modell aus derselben Reihe die Aufgabe ebenfalls gut erledigte, dabei dreimal schneller und nur ein Neuntel so teuer war, und in dem Moment hatte ich einen Aha-Effekt
Selbst wenn es etwas subjektiv ist, etwa welches Modell 2026 ein Elixir/Phoenix-Projekt am idiomatischsten bearbeitet, könnte das nützlich sein, weil es schwer ist, ständig alle Modelle selbst zu vergleichen, und die Leistungsunterschiede groß sind
Jede Statistik ist verzerrt, aber immer noch besser als gar nichts zu wissen, und dass Benchmarks den Durchschnitt über mehrere Aufgaben zeigen, bedeutet nur, dass Statistiken von Natur aus der Zusammenfassung dienen
Wenn man das aber zu einem einzigen Ergebnis zusammenfasst, verschwinden alle Nuancen und es bleibt nur eine Ranking-Show zum Angeben
Wenn ich Google-Management wäre, würde ich wohl nicht nur wegen der vielen Arbeit im Büro schlafen, sondern auch, weil es peinlich wäre, sich vor Leuten sehen zu lassen
Sie sagen schon lange, dass oberste Priorität sei, möglichst schnell präzise Antworten auf Fragen zu liefern
Von den dreien wirkt es wie das einzige Unternehmen, das AGI nicht verehrt und sich dabei nicht asketisch quält
Vielleicht ist genau das das einzige Ziel
Zur Spitzengruppe des Intelligenzindex gehören Claude Opus 5 Max mit 61 Punkten, Opus 5 Xhigh mit 60 Punkten, die Ersatzmodell-Kombination aus Claude Fable 5 Max und Opus 4.8 mit 60 Punkten, GPT-5.6 Sol Max mit 59 Punkten und Opus 5 High mit 59 Punkten
Opus 5 Xhigh liegt also über Sol Max, und Opus 5 High liegt gleichauf mit Sol Max; deshalb würde mich der Preis- und Geschwindigkeitsunterschied zwischen den beiden Modellen interessieren
In DeepSwe schlägt Opus 5 Fable, liegt aber hinter Sol; in FrontierCode dominiert es alle, fällt jedoch bei höherem Reasoning-Effort als Medium auf Sonnet-Niveau zurück
Vor allem geht es oberflächlich vor, man muss ihm die ganze App oder das gesamte Framework erklären, und es beginnt mit törichten Arbeiten wie dem erneuten Hinzufügen von Funktionen, die bereits in anderer Form unterstützt werden
Unter den Komponenten ist der AA-Omniscience Index interessant
Er misst die Zuverlässigkeit von Wissen und Halluzinationen, belohnt richtige Antworten und bestraft Halluzinationen, bestraft aber nicht die Verweigerung einer Antwort; er wirkt wie ein Indikator, der grob die Parametergröße oder -dichte zeigt
Die Reihenfolge lautet Claude Fable 5 Ersatzmodell-Kombination, Gemini 3.1 Pro Preview, Claude Opus 5 Max, Grok 4.6 High, Gemini 3.6 Flash, GPT-5.6 Sol Max; bei Gemini 3.x gab es schon lange dieses typische Gefühl eines großen Modells
Auch die Bildanalyse von Gemini 3.6 Flash ist solide, aber bei Coding oder Agent-Aufgaben reicht es nicht
Von 3.x Flash heißt es, es passe auf ein einzelnes TPU 8i, und die Verarbeitungsgeschwindigkeit von 234.7 Token/s ist Sols 64.4 und Opus' 56.3 weit überlegen; auch 3.1 Pro ist mit 113.9 Token/s deutlich schneller
AA-Omniscience Accuracy passt eher zur Erwartung: Das ultragroße Fable führt mit 61 %, gefolgt von großen Frontier-Modellen wie Sol, GPT-5.5 und Opus
Gemini scheint sich eher auf allgemeines Wissen und operative Kosteneffizienz als auf Bestwerte beim Coding zu konzentrieren; bei normalisierten Fachbereichswerten ist nur Software weniger wettbewerbsfähig
Bevor man Erwartungen hat, sollte man sich die Kosten-gegen-Intelligenz-Matrix ansehen: https://artificialanalysis.ai/models?intelligence-index-toke...
Die Kosten dürften deutlich sinken
Meta Muse Spark sehe ich nun in neuem Licht
Es ist in keiner einzelnen Disziplin das Beste, liegt aber an vielen Stellen der Rangliste an sinnvollen Positionen und bietet ein gutes Gleichgewicht zwischen Kosten und Leistung
Mich würde auch interessieren, wo das nicht aufgeführte Poolside Laguna S liegt; persönlich interessiere ich mich sehr für Modelle, die gut funktionieren und kosteneffizient sind
Selbst wenn es mit hauchdünnem Vorsprung auf Platz 1 liegt, sinkt der Nutzwert stark, wenn man darauf achten muss, dass die als Zensur verstandenen „Sicherheitsmechanismen“ Antworten nicht verweigern oder auf ein anderes Modell herabstufen.
Deshalb habe ich Claude bis auf einen Teil meines bestehenden Workflows fast vollständig eingestellt; wichtiger als der Unterschied zwischen 61 und 57 Punkten ist Zuverlässigkeit.
Wenn man Zensur und sogar Identitätsprüfung einbezieht, die ich selbst zwar nicht erlebt habe, ist Claude das am stärksten beeinträchtigte und instabilste Modell, und die minimale Benchmark-Optimierung der neuesten Version ist es nicht wert.
Ich wende auf alle Modelle einen Test zur Spieleentwicklung an, und Opus 5 fühlte sich wie ein Sprung auf Generationsniveau an; Benchmarks zeigen das tatsächliche Bild nicht genau, daher sollte man es selbst testen.
Ich weiß nicht, warum Anthropic so sehr auf automatisches, stilles Herabstufen fixiert ist, und ich frage mich, ob es überhaupt einen Nutzer gibt, der statt einer Antwortverweigerung lieber automatisch reduzierte Leistung möchte.
Dieselbe Aufgabe erledigten Opus 4.5~4.8 sowie Fable, Codex 5.4·5.5 und Sol 5.6 problemlos.
Opus 5 ist zu vorsichtig, um produktiv nutzbar zu sein, und braucht weitere Abstimmung.
Gut an Opus 5 ist, dass es nicht wie 4.8 alles noch einmal erklärt.
GPT-5.6 Sol schließt selbst bei Kleinigkeiten übermäßig tief, während Opus 5 ein hervorragendes Modell ist und Anthropic gute Arbeit geleistet hat.
Als ich es ohne Spezifikation einfach machen ließ, verbrauchte es in 2 Stunden und 30 Minuten 30 % meines Wochenkontingents; mit Spezifikation verbrauchte es in 30 Minuten nur 2 %, und das Ergebnis war bei Struktur, Länge, Validierung, Umfang und Kosten in allem besser.
Lässt man Sol einfach laufen, wird es unkontrollierbar, daher lasse ich jetzt Sol die Spezifikation schreiben und Terra implementieren; das funktioniert gut und hat auch den Gesamtverbrauch gesenkt.
Noch interessanter ist, dass Opus 5 nach Fable 5 das mit Abstand teuerste Modell ist.
GPT-5.6 und Kimi K3 erzielen mit halb so hohen Kosten ähnliche Werte mit nur 1~2 % Unterschied.
Bei Medium sinken die Kosten auf fast die Hälfte von K3, und für 95 % der Coding-Aufgaben dürfte das wahrscheinlich ausreichen.
Ich stehe auf keiner Seite, aber in diesem Ergebnis wirkt GPT-5.6 Sol Max besser.
Es bietet nahezu die gleiche Leistung zu etwa halben Kosten, und wenn schon Opus 5 im Vergleich zu GPT-5.6 so teuer ist, zeigt das, wie hoch der Preis von Fable ist.