Anthropic hat am 24. Juli 2026 Claude Opus 5 vorgestellt. Das Modell ist ein „Generationswechsel“-Upgrade der Opus-Stufe; die zentrale Positionierung ist, eine Intelligenz nahe an Fable 5 (Frontier-Modell) zum halben Preis zu bieten.
Kernaussagen
- Positionierung: Nahe an der Frontier-Intelligenz von Fable 5, aber zum halben Preis. Als neues Standardmodell von Claude Max und als leistungsstärkstes in Claude Pro verfügbares Modell festgelegt.
- Benchmarks: Neue SOTA bei Coding- und Wissensarbeits-Bewertungen wie Frontier-Bench und GDPval-AA. Bei Cybersecurity-Aufgaben liegt es jedoch weiterhin hinter Mythos 5 (Anthropics Spitzenmodell).
- Coding-Leistung: In Frontier-Bench v0.1 die beste Leistung aller Modelle, mehr als doppelte Verbesserung gegenüber Opus 4.8 (bei geringeren Kosten). In der effizientesten Einstellung von CursorBench liegt es bei halben Kosten innerhalb von 0,5 % des Bestwerts von Fable 5.
- Wissensarbeit/Problemlösung: In ARC-AGI 3 die dreifache Punktzahl des zweitbesten Modells, in Zapier AutomationBench etwa 1,5-mal höhere Erfolgsquote als das zweitplatzierte Modell, und in OSWorld 2.0 (Benchmark für Computernutzung) übertrifft es den Bestwert von Fable 5 zu etwa einem Drittel der Kosten.
- Wissenschaftliche Forschung: Verbesserungen gegenüber Opus 4.8 in allen Life-Sciences-Bewertungen. In organischer Chemie (Ableitung der Molekülstruktur aus Spektraldaten) +10,2 Prozentpunkte, bei Proteinsequenz-Funktionsvorhersage +7,7 Prozentpunkte.
- Arbeitsstil: Eigene Verifikation und Iteration wurden deutlich verbessert. Vorgestellt werden etwa Fälle, in denen das Modell ohne visuelle Informationen nur anhand von Zeichnungen ein 3D-CAD-Modell per Code rekonstruiert oder die eigentliche Ursache findet und behebt, die Community-Patches übersehen haben.
- Alignment: In internen Verhaltensaudits als das bislang am besten ausgerichtete Modell bewertet. Geringerer Anteil täuschenden Verhaltens als bei Opus 4.8, Sonnet 5 und Fable 5 sowie bestmögliche Vermeidung irreversibler riskanter Handlungen.
- Sicherheit: In Biologie und offensiver Cybersecurity schwächer als Mythos 5. Beim „Erkennen“ von Schwachstellen etwa auf dem Niveau von Mythos 5, bei der „Exploit-Entwicklung“ aber deutlich schwächer (als Folge des absichtlichen Ausschlusses von Cyber-Training).
- Schutzmechanismen: Rund 85 % weniger Eingriffe des Cyber-Klassifikators als bei Fable 5. Erkennung von Schwachstellen im Source Code ist erlaubt, binärbasiertes Scanning, Penetrationstests und Exploit-Erzeugung werden jedoch blockiert. Biologie-Anfragen, die bei Fable 5 blockiert würden, werden nun an Opus 5 weitergeleitet.
Preis und Verfügbarkeit
- Ab heute auf allen Plattformen verfügbar, API:
claude-opus-5 - Preis: pro 1 Mio. Token $5 Input / $25 Output (wie Opus 4.8)
- Fast Mode verfügbar (etwa 2,5-mal schneller als Standard, Preis doppelt so hoch)
- Keine Anforderungen zur Datenspeicherung (bei normaler Nutzung)
Zwei gleichzeitige Beta-Starts
- Tool-Wechsel während einer Unterhaltung: verfügbare Tools können mitten in der Konversation geändert werden, ohne den Prompt-Cache ungültig zu machen
- Automatischer Fallback: von Sicherheitsklassifikatoren markierte Anfragen werden automatisch an ein anderes Modell weitergeleitet (standardmäßig Nutzung des bestverfügbaren Modells statt Blockierung)
Zusätzliche GN⁺-Zusammenfassung
Neo hat den Originaltext zusätzlich aufbereitet
- Bietet eine Intelligenz nahe Fable 5 zu halben Kosten pro Aufgabe und ist das Standardmodell von Claude Max sowie das leistungsstärkste Modell in Claude Pro
- Erzielt Spitzenwerte in Coding- und Wissensarbeits-Bewertungen wie Frontier-Bench und GDPval-AA; die ARC-AGI-3-Punktzahl erreicht das Dreifache des zweitbesten Modells
- Verifiziert Aufgaben selbst und wiederholt sie bis zum Erfolg, etwa beim Aufbau einer Computer-Vision-Pipeline, bei der Behebung der Grundursache eines Open-Source-Bugs oder bei der Implementierung von Marktdaten-Feeds samt Test Harness
- Kostet $5 pro 1 Mio. Input-Token und $25 pro 1 Mio. Output-Token, also genauso viel wie Opus 4.8; der etwa 2,5-mal schnellere Fast mode kostet das Doppelte des Grundpreises
- Gefährliche Dual-Use-Fähigkeiten liegen unter Mythos 5; das Finden von Schwachstellen ist erlaubt, binäre Scans, Penetrationstests und Exploit-Erzeugung werden jedoch blockiert, und für markierte Anfragen kann automatischer Ersatz durch Opus 4.8 genutzt werden
Leistung und Kosteneffizienz
- Claude Opus 5 bietet höhere Leistung zum gleichen Preis wie Opus 4.8
- Über die effort-Einstellung kann man entweder Intelligenz priorisieren oder schnellere und günstigere Ausführungen mit geringerem Token-Verbrauch wählen
- Es ist das Standardmodell von Claude Max und das leistungsstärkste in Claude Pro verfügbare Modell
- In Frontier-Bench v0.1 lag es vor allen anderen Modellen und erzielte bei geringeren Kosten pro Aufgabe mehr als die doppelte Leistung von Opus 4.8
- Das sind interne Ergebnisse, gemessen als durchschnittliche Belohnung über fünf Versuche pro Aufgabe mit dem mini-SWE-agent-Harness und GKE-Backend
- Für Anfragen, die Opus 5 und Fable 5 wegen Sicherheitsklassifikatoren ablehnten, wurde Opus 4.8 als Ersatzmodell verwendet
- Bei CursorBench 3.2 im max effort liegt es innerhalb von 0,5 % des Bestwerts von Fable 5, bei halben Kosten pro Aufgabe
- In high, xhigh und max effort erzielte es bei gleichem Kostenmaßstab höhere Leistung als alle anderen Modelle
- Auch bei Wissensarbeit und Problemlösung zeigt es hohe Kosteneffizienz
- In ARC-AGI 3 ist die Punktzahl beim Lösen neuer Probleme dreimal so hoch wie beim zweitbesten Modell
- In Zapier AutomationBench ist die Erfolgsquote bei gleichen Kosten pro Aufgabe etwa 1,5-mal höher als beim zweitbesten Modell; selbst bei minimalem effort besteht es mehr Aufgaben als jedes andere Modell
- In OSWorld 2.0 lag es in allen Kostenbereichen vor anderen Modellen und übertraf das beste Ergebnis von Fable 5 zu etwas mehr als einem Drittel der Kosten
Wissenschaftliche Forschung und visuelle Ergebnisse
- In allen Life-Sciences-Bewertungen, darunter Strukturbiologie, organische Chemie und Bioinformatik, erzielte es höhere Leistung als Opus 4.8
- Im internen Benchmark für organische Chemie zur Ableitung von Molekülstrukturen aus Spektraldaten liegt es um 10,2 Prozentpunkte höher
- Bei Aufgaben zur Vorhersage der funktionalen Auswirkungen von Proteinsequenz-Varianten liegt es um 7,7 Prozentpunkte höher
- Es kann deutlich stärkere visuelle Ergebnisse erzeugen als frühere Modelle
Aufgabenverifikation und autonome Iteration
- Die Fähigkeit, Ergebnisse selbst zu verifizieren und bis zum Erfolg sorgfältig zu iterieren, wurde verbessert
- Bei einer FreeCAD-Aufgabe in Frontier-Bench schrieb es unter der Bedingung, technische Bauteilzeichnungen nicht direkt sehen zu können, selbst eine Computer-Vision-Pipeline, extrahierte Formen aus Rohpixeln und rekonstruierte 3D-Bauteile
- Es erreichte den Erfolg nach mehreren Iterationen, während konkurrierende Modelle die Aufgabe auch nach fünf Versuchen nicht lösen konnten
- Bei einem realen Bug in einem weit verbreiteten Open-Source-Paketmanager fand es die Grundursache und behob auch Grenzfälle, die Community-Patches übersehen hatten
- Konkurrenzmodelle beseitigten nur oberflächliche Symptome und hielten den Bug dann fälschlich für behoben
- Ein Ingenieur eines Trading-Unternehmens baute in einer einzigen Sitzung einen Marktdaten-Feed für eine neue Börse auf
- Frühere Modelle konnten die Aufgabe selbst mit einem detaillierten Plan des Ingenieurs nicht abschließen
- Da kein Live-Feed zur Verifikation vorhanden war, erstellte es selbst ein Test Harness, um zu prüfen, ob die Börsendaten korrekt geparst werden
Bewertungen früher Nutzer zu Coding und Agenten
- In Devins FrontierCode 1.1 erreichte es zum halben Preis nahezu Fable-Niveau und zeigte Stärken bei schwierigem Debugging und Root-Cause-Analyse
- In CursorBench lag es leicht hinter Fable 5, zeigte aber ähnliche Verhaltensmerkmale und bietet Fable-5-nahe Intelligenz zu Opus-Geschwindigkeit und -Kosten
- In Zapier AutomationBench belegte es Platz 1, ohne mehr Token als frühere Claude-Modelle zu verbrauchen
- In einem Workbook zum Kontostatus identifizierte es Risikokunden, benachrichtigte Zuständige und erstellte Zusammenfassungen für das Retention-Team, womit es das Churn-Prevention-Verfahren vollständig mit 100 % Erfolgsquote abschloss
- In der Genomanalyse schloss es Störfaktoren mit geeigneten statistischen Tests aus, validierte Ergebnisse per Kreuzprüfung mit unabhängigen Methoden und hielt lange mehrstufige Analysen durch
- In internen Bewertungen von Lovable verbesserten sich die schwierigsten Agent-Coding-Aufgaben um 22 % gegenüber Opus 4.7, bei zugleich geringerer Streuung zwischen einzelnen Läufen
- Beim Bau derselben Full-Stack-App erzeugte es die besten Animationen, Spiele und 3D-Arbeiten der Opus-Reihe; bewertet wurde dies als größte Verbesserung seit Opus 4.5
- In offenen Analysen waren die Verbesserungen gegenüber Opus 4.8 umso größer, je schwieriger und mehrdeutiger die Aufgaben waren; Antworten wurden klarer und knapper, und die Effizienz bei hohem effort stieg
- Beim Verwalten von Entwicklungsumgebungen erstellte es eigene Monitore, manipulierte jede Umgebung und fragte nur bei Punkten nach, die menschliches Urteil erforderten
- In der Codebasis des Fundamental Research Assistant führte es umfangreiche Änderungen gemäß Feedback durch und bearbeitete Arbeiten, die normalerweise in mehrere Teile zerlegt würden, in einem einzigen Agent-Workflow
- In Frontend-Bewertungen öffnete es Seiten selbst in Desktop- und Mobilbreite, fand Produkte, die unterhalb des mobilen Bildschirms verborgen waren, sowie Checkout-Buttons außerhalb des Bildschirms und behob sie
- Vor der PR-Übergabe prüfte es Branches, Templates und Testauswirkungen und veröffentlichte nicht vorschnell vor der Verifikation wie frühere Modelle
- Bei Redesigns unterschied es zwischen den Vorteilen des vorgeschlagenen Designs und einzelnen Streitpunkten und schlug Kompromisslösungen vor, die Mängel beheben und Vorteile erhalten
- Bei Codeänderungen erzeugte es kompakte Diffs ohne toten Code, erkannte subtile, codebase-spezifische Risiken besser und wurde daher in Produktions-Workloads übernommen
- Mehrere Anwendungsfälle und Code-Reviews der integrierten Agent-Plattform Cosmos sollen auf Opus 5 migriert werden
- In Bewertungen von JetBrains prüfte es vor dem Schreiben von Code gründlicher, fand logische Fehler bereits in der Planungsphase und beurteilte nicht nur, ob eine Antwort funktioniert, sondern auch, ob sie aus den richtigen Gründen funktioniert
- In Trading-Benchmarks erzielte es die höchste Leistung der Opus-Reihe und reduzierte gegenüber Opus 4.8 die Inferenz-Token auf etwa ein Siebtel sowie die Latenz auf weniger als die Hälfte
Bewertungen für Unternehmen und professionelle Arbeit
- In Finanzforschung verbesserten sich numerisches Schlussfolgern, Tabellenarbeit und präzises kritisches Denken gegenüber Opus 4.8
- In internen Bewertungen von Box lag die Analyse professioneller Unternehmensinhalte 8 % höher als bei Opus 4.8
- Workflows zur Datenanalyse verbesserten sich um 11 %, Due Diligence um 17 %
- Die Aufgaben stammen aus Einsätzen in Technologie, Gesundheitswesen und dem öffentlichen Sektor
- Bei anspruchsvollem Financial Modeling lag die Genauigkeit über alle effort-Stufen hinweg im Mittel um 9 Prozentpunkte höher; Dialog-Turns und Tool-Aufrufe wurden um ein Drittel reduziert, die benötigte Zeit sank um 60 %
- Bei juristischen Agent-Aufgaben waren die Verbesserungen besonders in Corporate Governance und Arbitration ausgeprägt
- Gegenüber Opus 4.8 mit max reasoning blieb die Qualität bei durchschnittlich 26 % weniger Token ähnlich
- Beim ersten Versuch für Vertragsänderungen erzielte es den höchsten Wert aller getesteten Modelle und fast das Doppelte von Opus 4.8
- Auch NDA-Überarbeitungen wurden bei gleicher oder höherer Genauigkeit mit weniger Zeit und Iterationen abgeschlossen
- Bei langen Aufgaben verbesserte sich die Fähigkeit, vollständige Präsentationen zu erstellen und anschließend zu überarbeiten; auch bei visuellem Verständnis, Formatierung und Folienfehlern lieferte es bessere Ergebnisse
Alignment und Risikofähigkeiten
- In automatischen Verhaltensaudits vor der Auslieferung zeigte Opus 5 unter den Anthropic-Modellen das höchste Alignment-Niveau
- Es befolgt Claudes Verfassung besser als Opus 4.8, Sonnet 5 und Fable 5
- Es weist den geringsten Anteil täuschenden Verhaltens und die geringste Anfälligkeit für Missbrauchslenkung auf
- Es vermeidet am zuverlässigsten leichtsinnige Handlungen, die schwer rückgängig zu machende Nebenwirkungen auslösen könnten
- Es hebt die Frontier gefährlicher Dual-Use-Fähigkeiten nicht an; in Bewertungen mit zivilen und staatlichen Partnern zeigte es sowohl in biologischer Forschung als auch in offensiver Cybersecurity geringere Leistung als Mythos 5
- Details stehen in der System Card
- Wie Opus 4.8 wurde es absichtlich nicht auf Cyber-Aufgaben trainiert; durch die allgemeinen Fähigkeitsverbesserungen stieg die entsprechende Leistung dennoch deutlich
- Beim Finden von Schwachstellen liegt es nahe an Mythos 5
- Bei der Exploit-Entwicklung, also der Umwandlung entdeckter Schwachstellen in reale Bedrohungen, liegt es deutlich hinter Mythos 5
- In OSS-Fuzz fanden Opus 5 und Mythos 5 Schwachstellen mit ähnlicher Erfolgsquote, doch bei der Exploit-Entwicklung war die Punktzahl von Opus 5 deutlich niedriger
Schutzmechanismen für Cybersecurity und Biologie
- Die Schutzmechanismen sind so ausgelegt, nützliche Anwendungen in Cybersecurity und Biologie zuzulassen, und ähneln ansonsten Opus 4.8; hinzu kommen nur stärkere Einschränkungen für einen engen Bereich von Cyber-Aufgaben
- Der Cyber-Klassifikator ist im Vergleich zu Fable 5 weniger restriktiv
- Das Auffinden von Schwachstellen im Source Code ist erlaubt
- Binärbasiertes Schwachstellen-Scanning, Penetrationstests und Exploit-Erzeugung, die mit höherer Wahrscheinlichkeit mit böswilligen Akteuren verbunden sind, werden blockiert
- Nach Tests von Anthropic werden etwa 85 % weniger Eingriffe des Klassifikators als bei Fable 5 erwartet
- In Claude.ai, Claude Code und Claude Cowork werden markierte Anfragen standardmäßig durch Opus 4.8 ersetzt; das kann auch in der API aktiviert werden
- Unternehmen und Forschende im Cyber Verification Program können Opus 5 mit weniger Sicherheitsbeschränkungen sofort nutzen
- Im Biologiebereich bleiben ähnliche Schutzmechanismen wie bei Opus 4.8 bestehen, während es zugleich das leistungsstärkste allgemein verfügbare Modell für wissenschaftliche Forschung wird
- Für lang andauernde autonome Forschung bestehen weiterhin wesentliche Grenzen; bei dieser Art biologischer Aufgaben ist Mythos 5 weiterhin stärker
- Biologie-Anfragen, die in Fable 5 blockiert werden, werden nun statt an Opus 4.8 an Opus 5 weitergeleitet
Preise und Entwicklerfunktionen
- Auf allen Plattformen verfügbar; die Modellkennung in der Claude API lautet
claude-opus-5- $5 pro 1 Mio. Input-Token und $25 pro 1 Mio. Output-Token, also wie Opus 4.8
- Für den allgemeinen Zugriff gelten wie bei früheren Opus-Modellen keine Anforderungen zur Datenspeicherung
- Der Fast mode läuft mit etwa 2,5-facher Standardgeschwindigkeit
- Auf der Claude Platform kostet er das Doppelte des Standardpreises; in Claude Code wird er über Usage Credits bereitgestellt
- Mit dem Beta-Feature Tool-Wechsel während der Konversation auf der Claude Platform lassen sich die von Claude verwendbaren Tools mitten in einer Unterhaltung ändern, ohne den Prompt-Cache ungültig zu machen
- Wird das Beta-Feature automatischer Fallback der API aktiviert, werden Opus-5- oder Fable-5-Anfragen automatisch an ein anderes Modell weitergeleitet, wenn der Sicherheitsklassifikator sie markiert
- Statt Anfragen zu blockieren, wird standardmäßig an das bestverfügbare Modell geroutet
- Hinweise zur Nutzung des Modells finden sich im Opus-5-Prompting-Guide
1 Kommentare
Hacker-News-Kommentare
Der entscheidende Punkt hier ist weniger die absolute Leistung, sondern dass Organisationen nun ein Modell auf Fable-Niveau ohne 30-tägige Pflicht zur Datenspeicherung nutzen können
Für Opus 5 gibt es wie beim vorherigen Opus keine Anforderung zur Datenspeicherung für den allgemeinen Zugriff, und dass Fable keinen ARC-AGI-Score hat, liegt ebenfalls an dieser Aufbewahrungsrichtlinie
https://support.claude.com/en/articles/15425996-data-retenti..., https://www.anthropic.com/news/claude-opus-5, https://xcancel.com/arcprize/status/2064399134099153344
Es ist auch erfreulich, dass Fable 5 nur per Credits verfügbar bleibt; künftig dürfte es häufiger vorkommen, dass Top-Modelle hinter nutzungsbasierter API-Abrechnung oder Credits stehen und andere Modelle über ein Monatsabo quersubventioniert werden
Dann müssen die Informationen also irgendwo gespeichert werden, weshalb die Art der Datenspeicherung schwer nachzuvollziehen ist
Ich teste derzeit Bild→HTML-Konvertierung; bisher war Fable am besten, und Gemini 3.1 Pro war überraschend auf Platz zwei
Opus 5 hält sich genauer an das Originaldesign als Fable, setzt Buttons als abgerundete Rechtecke statt als Pillenform um, und auch die erzeugten Bilder sind näher am Original
Original: https://image.non.io/73e239a3-880f-4793-b65f-4810be2d9378.we...
Opus 5: https://html.non.io/solaraOpus/
Fable 5: https://html.non.io/solara/
Das responsive Verhalten war zwar nicht ganz stimmig, aber es fühlte sich an, als wäre man bei etwa 90 % eines fertigen Produkts angekommen
Original: https://image.non.io/9d5fed20-b476-49d3-841b-37eb553fb88e.we...
Opus 5: https://html.non.io/neonRamen/
Inkling war nicht besonders gut: https://cdn-uploads.huggingface.co/production/uploads/608b8b...
Kimi 2.7, der Vorgänger des neuesten Kimi3, war sehr gut: https://cdn-uploads.huggingface.co/production/uploads/608b8b...
Testumgebung: https://huggingface.co/spaces/abidlabs/vlm-screenshot-to-web...
Es ist nützlicher zu prüfen, wie gut ein Modell menschliches Design übernimmt, ohne es zu verwässern
Angesichts der vielen Releases ist es kaum überraschend, dass Model Routing der am schnellsten wachsende Bereich in der KI ist
Bei mehr als 10 Unternehmen gibt es Modelle in verschiedenen Formaten und Größen, unterschiedlichen Denkstufen, Agent-, Pro- und Hochgeschwindigkeitsmodi, Standard-, Flex- und Batch-Ausführung sowie unterschiedliche Preise für Eingabe-, Ausgabe- und Cache-Tokens
Unternehmen, die Prompts an die geeignetste und wirtschaftlichste Kombination weiterleiten, schöpfen viel Wert aus einer Lücke, die die Modellanbieter ignorieren
Das ist eine Wiederholung der Bitter Lesson, und die führenden Unternehmen werden diese Funktion am Ende wohl selbst direkt anbieten
Für die meisten Bürotätigkeiten braucht es keine ultrastarke AGI, daher wandert der Traffic zu günstigen Modellen, aber die führenden Labore positionieren sich so, als könnten nur sie sowohl starke AGI als auch den Ersatz von Büroarbeitsplätzen liefern
Routing zu günstigen Modellen könnte diese Erzählung empfindlich beschädigen
Es fällt schwer, für irgendeine Aufgabe etwas anderes als das aktuell beste Modell zu akzeptieren, und die einzige nötige Regel ist, das stärkste Modell mit verbleibendem Flatrate-Kontingent zu wählen
Statt Kosten zu sparen, nimmt man womöglich Bugs in Kauf, deren Schwere und Häufigkeit sich nicht messen lassen, und man kennt weder den Wert der Versicherung, alle Inferenz dem Top-Modell zu überlassen, noch die späteren Kosten für Korrekturen
Auf Projektebene gibt es auch keine Möglichkeit zu testen, wie anders der Code mit einem anderen Modell ausgefallen wäre
Wer keine Lust hat, ein PDF mit rund 190 Seiten zu lesen, kann stattdessen diesen Blogpost nehmen: https://www.anthropic.com/news/claude-opus-5
Vergleicht man den Schreibstil von Opus 5 und Fable 5, verwendet Opus 5 weiterhin den typischen Claude-Stil, von dem sich Fable entfernt hatte, ähnlich wie 4.8
Ausdrücke wie „carry the argument“, „worth stating plainly“, „and the trap“, „The X matters more“ und „move“ wiederholen sich, daher braucht es einen Benchmark für „nerviges Englisch“
Fable 5 Max: https://gist.github.com/deet/3d97f854b48eac6658d642fa18bb24d...
Opus 5 Max: https://gist.github.com/deet/1a43693a732dfccb4d0d914bfc42692...
Der typische Claude-Stil scheint teilweise aus der Tendenz zu stammen, Gespräche oder Aufgaben „proaktiv“ voranzutreiben, und ein Benchmark zur Quantifizierung der Stilspanne pro Prompt wäre wohl ebenfalls nützlich
Die 55,7 % von Anthropic und die rund 21 % aus dem OSWorld-2.0-Paper waren unterschiedliche Metriken
Opus 4.8 schloss ungefähr 1 von 5 Aufgaben vollständig erfolgreich ab und erreichte damit eine Abschlussquote von 20,6 %, holte aber bei den übrigen auch Teilpunkte und kam so auf einen Teilscore von 54,8 %
Wegen solcher Metrikunterschiede stellt sich allerdings die Frage, ob sich Benchmarks aus verschiedenen Papers überhaupt innerhalb einer sinnvollen Fehlermarge vergleichen lassen: https://arxiv.org/pdf/2606.29537
Benchmark-Ersteller bevorzugen niedrige Zahlen, die Verbesserungspotenzial zeigen, während Modellhersteller hohe Zahlen bevorzugen, die Fähigkeiten betonen, aber Anthropics 55,7 % und die 54,8 % aus dem Paper sind faktisch dasselbe Ergebnis
Zu sagen, „Opus 5 ist insgesamt nicht besser als Fable 5“, und dann im Blog besser bei den meisten Benchmarks aufzulisten, ist kommunikativ verwirrend
Auch die System Card erklärt, dass die Fähigkeiten für KI-Forschung und -Entwicklung denen von Claude Mythos 5 ähneln, das als Fable ohne Begrenzungen gilt
Opus 5 wurde nicht auf das Ausnutzen von Software-Schwachstellen trainiert, daher liegt seine Fähigkeit zur Entdeckung nahe bei Mythos 5, aber seine Ausnutzungsfähigkeit, um daraus reale Cyberbedrohungen zu machen, bleibt deutlich zurück
Auch ein Modell, das deutlich besser als Fable wirkt, wurde problemlos veröffentlicht, solange Anthropics apokalyptisches Marketing fehlte.
Theoretisch müsste es nach Anthropics Maßstäben AGI-Niveau haben, in der Realität ist es aber nur ein ganz gewöhnlicher Freitag.
Diese Modelle sind stark abgesichert, und es wurde gesagt, dass Mythos ohne Schutzmechanismen deshalb nicht veröffentlicht werden konnte.
Bei OpenAI war es ähnlich, als bekanntgegeben wurde, dass ein Modell ohne Schutzmechanismen in die HuggingFace-Server eingedrungen sei.
Selbst wenn GPT-6 im Sommer erscheint, erwartet inzwischen fast niemand mehr AGI, daher frage ich mich, wie man den Hype-Zyklus aufrechterhalten will.
Der beworbene Fall, dass Opus 5 in einer einzigen Session einen Marktdaten-Feed und Validierungstools für eine neue Börse erstellt habe, ist ironischerweise ein Projekt, das Trading-Firmen Praktikanten oft geben.
Im Frontier-Code-Diagramm ist die Effizienz pro Aufgabe im Modus für mittleres Nachdenken überwältigend hoch, und ich frage mich, warum die Bewertungsergebnisse mit zunehmender Menge an Schlussfolgerung so stark schlechter werden.
Dass es auf dem Maximalniveau leicht abfällt, kommt vor, aber in diesem Ausmaß ist es ungewöhnlich: https://imgur.com/a/Nv8V7Ry
Subjektiv wirken das heutige Opus 4.8 Medium und das nach der Ankündigung veröffentlichte Opus 5 Medium im 5-Stunden-Nutzungsbereich effizienter als das Opus 4.8 der letzten Woche.
Wenn man es eher promptbasiert statt als Agent nutzt, zeigt sich diese Grenze, und das mittlere Niveau ist möglicherweise besser ausbalanciert.
Ich frage mich, ob zu viel Nachdenken schlecht ist, aber extrem viel Nachdenken dann wieder hilft.