Inkling: Das Open-Weight-Modell von Thinking Machines Lab
(thinkingmachines.ai)- Inkling, ein von Grund auf trainiertes Modell mit vollständig veröffentlichten Gewichten, ist ein MoE Transformer mit insgesamt 975B und 41B aktiven Parametern; es unterstützt Kontextlängen von bis zu 1M Tokens sowie Reasoning auf Basis von Text, Bildern und Audio
- Es wurde auf 45 Billionen Tokens aus Text, Bildern, Audio und Video vortrainiert und priorisiert statt einzelner Benchmarks die Allgemeinheit und Anpassbarkeit über Agentenaufgaben, Reasoning, Coding, Befolgen von Anweisungen und Faktentreue hinweg
- Der Reasoning-Aufwand lässt sich im Bereich von 0.2 bis 0.99 steuern, um Kosten, Latenz und Leistung auszubalancieren; bei Terminal Bench 2.1 nutzt es bei gleicher Leistung wie Nemotron 3 Ultra etwa ein Drittel der Tokens
- Es ist derzeit nicht das stärkste offene oder geschlossene Modell, zielt aber auf eine Open-Weight-Basis ab, die multimodale Fähigkeiten, effizientes Reasoning, Tinker-Finetuning sowie verschiedene Inferenz- und Deployment-Tools kombiniert
- Die ebenfalls vorgestellte Inkling-Small Preview hat insgesamt 276B und 12B aktive Parameter, erzielte in mehreren Evaluationen ähnliche oder höhere Ergebnisse als das große Modell und soll nach Abschluss der Tests mit vollständigen Gewichten veröffentlicht werden
Ein universelles Modell mit vollständig veröffentlichten Gewichten
- Thinking Machines Lab veröffentlicht die vollständigen Gewichte von Inkling, das von Grund auf trainiert wurde, damit Menschen KI-Modelle direkt anpassen können
- Inkling ist ein Mixture-of-Experts Transformer mit insgesamt 975B Parametern, von denen pro Token 41B aktiviert werden
- Das maximale Kontextfenster beträgt 1M Tokens
- Es wurde auf 45 Billionen Tokens aus Text, Bildern, Audio und Video vortrainiert
- Es führt standardmäßig gemeinsames Reasoning über Text, Bilder und Audio als Eingaben aus
- Statt sich auf ein bestimmtes Gebiet zu konzentrieren, wurde es als ausgewogenes Basismodell trainiert, das Agentenaufgaben, Reasoning, Coding, Befolgen von Anweisungen, Faktentreue, Vision und Audio abdeckt
- Es ist nicht das stärkste Modell unter allen offenen und geschlossenen Modellen; Ziel ist ein anpassbares Basismodell, das multimodale Fähigkeiten, effizientes Reasoning und Tinker-Finetuning kombiniert
- Es ist das erste Release einer Modellfamilie, die auf mehrere Größen skaliert werden soll; das leichtere Inkling-Small wird ebenfalls als Preview veröffentlicht
- In Tinker kann Inkling direkt feinabgestimmt werden, und im Inkling Playground der Tinker-Konsole kann man mit dem Modell chatten und seine Eigenschaften prüfen
- In einer Anpassungsdemo schrieb, startete und evaluierte Inkling mithilfe von Tinker seinen eigenen Finetuning-Job und lief dabei innerhalb des OpenCode-Harness
Universelle Agenten und Erstellung von Artefakten
- Priorisiert wurde breite Aufgabenleistung statt Spitzenleistung in einem einzelnen Bereich, damit das Modell für unterschiedliche Workflows und Produkte feinabgestimmt werden kann
- Während des Trainings für Coding- und Agenten-Harnesses wurden Tool-Sets und Schemas randomisiert, um die Empfindlichkeit gegenüber einem bestimmten Harness zu verringern
- Auch innerhalb des Harness lässt sich der Reasoning-Aufwand festlegen
- In den meisten Agenten-Benchmarks erzielt es unter Open-Weight-Modellen konkurrenzfähige Werte
- Mit einem einzigen Prompt erstellt es eine Web-App für Bewerbungen und bettet in die App einen Browser-Nutzungs-Agenten ein, der anhand natürlichsprachlicher Anweisungen Formulare mit einem gespeicherten Profil ausfüllt
- Auf dem Agentic Web Dev Leaderboard von Design Arena, das generierte Web-Apps blind im direkten Vergleich bewertet, gehört es zu den starken Open-Weight-Modellen
- Es erstellt mehrseitige Artefakte, etwa ein neunseitiges PDF-Journal zu Essen und Reisen, und hält dabei präzise Anweisungsbefolgung und einen konsistenten Stil ein
- Es verbesserte ein Online-Multiplayer-Snake-Spiel mit Echtzeitserver, Bots und Leaderboard, indem es 40 Feedbackrunden von GPT Codex als Reviewer einarbeitete
- Die Fähigkeit, lange iterative Verbesserungsprozesse durchzuhalten und Artefakte anhand von Feedback weiterzuentwickeln, wird als zentral für kollaboratives Arbeiten betrachtet
Reasoning-Aufwand zur Steuerung von Kosten und Leistung
- In realen Anwendungen sind nicht nur Spitzenleistung, sondern auch Token-Kosten und Latenz begrenzende Faktoren; insbesondere niedrige Latenz ist für iterative Zusammenarbeit und Verbesserung wichtig
- Der Reasoning-Aufwand lässt sich im Bereich von 0.2 bis 0.99 steuern, um das Gleichgewicht zwischen Leistung und Anzahl generierter Tokens zu wählen
- Bei Terminal Bench 2.1, Humanity’s Last Exam (HLE) und IFBench wurden Leistung und durchschnittlich generierte Tokens je Aufwand verglichen
- Bei Terminal Bench 2.1 erreicht es eine Leistung auf dem Niveau von Nemotron 3 Ultra mit etwa einem Drittel der Tokens
- Die HLE-Ergebnisse wurden an einem Checkpoint vor dem finalen Release gemessen und liegen daher leicht unter dem finalen Modell
- Wenn ein Modell millionenfach aufgerufen oder in lange Workflows eingebunden wird, kann man Einstellungen je Use Case anhand der gesamten Kosten-Leistungs-Kurve statt nur anhand eines einzelnen Spitzenwerts auswählen
Native multimodale Architektur ohne Encoder
- Es wurde von Grund auf multimodal trainiert, damit es als Hintergrund-Reasoning-Modell für das interaction models system dienen kann, das Echtzeit-Zusammenarbeit über Sprache und Vision unterstützt
- Für Vision und Audio wird jeweils eine encoderlose Architektur ohne separaten Encoder verwendet
- Audio wird als dMel-Spektrogramm eingegeben
- Bilder werden mit einem vierlagigen hMLP in 40×40-Pixel-Patches kodiert, entsprechend dem Design aus Forschung zu Vision Transformern
- Beide Eingaben durchlaufen eine leichte Embedding-Schicht und werden anschließend gemeinsam mit Text-Tokens verarbeitet
- Bei Audio unterstützt es Sprachtranskription, Befolgen gesprochener Anweisungen, Frage-Antwort zu Aufnahmen und Reasoning über lange Audiosequenzen
- Bei effort=0.99 erreicht es Audio MC 56.6%, MMAU 77.2% und VoiceBench 91.4%
- Nach VoiceBench, MMAU und Audio MC gehört es zu den starken Open-Weight-Audiomodellen
- Bei Vision führt es nicht nur Bildbeschreibung und Frage-Antwort aus, sondern auch visuelles Reasoning über Diagramme, Schaubilder und Mathematik
- MMMU Pro Standard 10 liegt bei 73.5%, Charxiv RQ bei 78.1%
- Wenn Bildmanipulationen wie Vergrößern und Zuschneiden mit Python genutzt werden, steigt Charxiv RQ auf 82.0%
- In künftigen Modellen und Trainingspipelines sollen die multimodalen Fähigkeiten weiter ausgebaut werden
Kalibrierte Sicherheit und Umgang mit Unsicherheit
- Die epistemischen Eigenschaften (epistemics) von Inkling umfassen kalibrierte Sicherheit, Anweisungsbefolgung und Zensurresistenz
- Wenn ein Modell in jeder Antwort zu große Sicherheit zeigt, müssen Nutzer auch bei Informationsmangel oder erfundenen Inhalten jedes Mal prüfen; daher wurde Wahrscheinlichkeitskalibrierung per Reinforcement Learning mit geeigneten Scoring-Regeln für gelöste reale Fragen trainiert
- Die Ergebnisse einer Prognoseevaluation mit einem anderen Checkpoint als der öffentlichen Version vom 30. Juni bis 13. Juli 2026 lauten wie folgt
- Der ForecastBench Brier Index ohne Suche beträgt 61.1±0.79, mit Suche 63.7±0.82
- Der Prophet Arena Brier Score beträgt 0.1617; niedriger ist besser
- Für das Befolgen von Anweisungen bei komplexen, schwer überprüfbaren Fragen werden zwei automatische Evaluatoren verwendet: rubric grader und claims grader
- Der rubric grader bewertet anhand einer Checkliste die für eine gute Antwort nötigen Punkte, ist aber anfällig dafür, dass ein Modell massenhaft relevant wirkende Fakten ausgibt, um Punkte zu sammeln
- Der claims grader überprüft jede Tatsachenbehauptung per agentischer Websuche und zieht Punkte für nicht bestätigte Behauptungen ab
- Beide Evaluatoren werden gemeinsam genutzt, um Nützlichkeit zu erhöhen und Halluzinationen zu verringern
- Um kalibrierte Unsicherheit in langen Antworten direkt zu trainieren, werden auch Kurzantwort-Datensätze für faktische Fragen mit abstention-aware rewards verwendet
- Antworten werden nur belohnt, wenn die Wahrscheinlichkeit einer korrekten Antwort hoch ist; bei Unsicherheit ist es vorteilhaft, „Ich weiß es nicht“ zu sagen oder eine bedingte Vermutung abzugeben
- Einige Prompts empfehlen oder verbieten Vorbehalte, damit das Modell den Nutzerpräferenzen zwischen erzwungenem Raten und kalibrierter Nichtantwort folgt
- Es wurde trainiert, auch auf potenziell zensurgefährdete Themen direkt zu antworten, und zeigt in Cognitions Propaganda and Censorship Eval ein starkes Muster, Zensur nicht zu folgen
Evaluation riskanter Fähigkeiten und sicheren Verhaltens
- Nach dem Training mit einer internen Spezifikation für sicheres Verhalten, die für alle Eingabeformen gilt, wurden die Ergebnisse durch externe Sicherheitsevaluator:innen überprüft
- Die Evaluation riskanter Fähigkeiten umfasst CBRN, Cyber und Kontrollverlust; Bedrohungen zwischen Menschen und KI behandeln Schmeicheltendenzen, vulnerable Nutzer und schädliche Manipulation
- Die wichtigsten Sicherheitsergebnisse bei effort=0.99 sind:
- FORTRESS Adversarial 78.0%
- FORTRESS Benign 95.9%
- StrongREJECT 98.6%
- Unter den verglichenen Open-Weight-Modellen zeigte es bei FORTRESS die stärksten eingebauten Schutzmaßnahmen; schädliche Anfragen zu Waffen und Gewalt werden häufiger abgelehnt, während Over-Refusal bei ähnlich wirkenden legitimen Anfragen reduziert wird
- Bei StrongREJECT, das die Ablehnung eindeutig schädlicher Anfragen misst, liegt es mit über 98% auf einem ähnlichen Niveau wie andere offene und geschlossene Modelle
- Bei angepassten Modellen wird weiter untersucht, wie sich Finetuning auf Sicherheitsverhalten und steigende Fähigkeiten auswirkt
Vollständige Benchmarks und Messbedingungen
- Alle Basisevaluationen wurden mit effort=0.99, temperature=1.0 durchgeführt; für Coding-Evaluationen galt ein Arbeitsverlaufslimit von bis zu 256K Tokens
- Für HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience und MMMU Pro wurden, soweit verfügbar, extern von Artificial Analysis berichtete Werte verwendet
- Die repräsentativen Werte von Inkling sind:
- Reasoning: HLE text-only 29.7%, Tool-Nutzung 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
- Agentisches Coding: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
- Allgemeine Agenten: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp mit Kontextverwaltung 77.1%
- Faktentreue und Dialog: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
- Vision und Audio: MMMU Pro 73.5%, Charxiv RQ mit Python-Nutzung 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
- Bei der Interpretation der Ergebnisse sollten folgende Unterschiede in den Evaluationsbedingungen berücksichtigt werden
- Das Inkling-Ergebnis bei SWEBench Verified wurde mit einem reinen Bash-Harness gemessen; für externe Modelle wurden selbst berichtete Werte verwendet
- Terminal Bench 2.1 wurde mit einem internen Coding-Harness gemessen; einige Ergebnisse, bei denen in der Websuche Answer Contamination festgestellt wurde, wurden mit 0 Punkten gewertet
- VoiceBench nutzt fest codiertes String-Matching, das empfindlich auf das Ausgabeformat reagiert; daher wurde eine Systemnachricht hinzugefügt, die zur Einhaltung des erwarteten Antwortformats auffordert
- Einige Vergleichsmodelle für Audio MC standen nicht im offiziellen Leaderboard und wurden intern evaluiert
- Claude Fable 5 und GPT 5.6 Sol bei CharXiv RQ mit Python-Nutzung wurden mit einem internen Python-Harness gemessen
MoE-Architektur für langen Kontext
- Inklings MoE-Architektur folgt grob DeepSeek-V3, nimmt aber Änderungen für Effizienz und Leistung bei langem Kontext vor
- Jede MoE-Schicht enthält 256 Routing-Experten und 2 gemeinsame Experten; pro Token werden 6 Routing-Experten aktiviert
- Verwendet werden ein sigmoidbasierter Router und ein Lastverteilungs-Bias ohne Auxiliary Loss
- Die Scores der ausgewählten Routing-Experten und gemeinsamen Experten werden gemeinsam normalisiert und als Gewichte zur Kombination der Ausgaben genutzt
- Attention-Schichten werden im Verhältnis 5:1 zwischen Sliding-Window-Schichten und globalen Schichten alterniert und nutzen 8 KV-Heads
- Für Positionskodierung wird statt des verbreiteten RoPE relative Positionseinbettung verwendet
- Relative Positionsrepräsentationen aus der Linie des Music Transformer boten bei längeren Sequenzen Vorteile für Leistung und Extrapolation
- Kurze Faltungen werden an zwei Stellen angewendet
- Nach den Key- und Value-Projections jeder Attention-Schicht
- Bevor die Attention- und MLP-Residual-Branches in den Haupt-Residual-Stream zusammengeführt werden
Vortraining auf 45 Billionen Tokens und Reinforcement Learning im großen Maßstab
- Trainiert wurde auf NVIDIA GB300 NVL72-Systemen mit 45 Billionen Tokens aus Text, Bildern, Audio und Video
- Für die Optimierung wird Muon für große Matrixgewichte mit Adam für die übrigen Parameter kombiniert
- Der Hyperparameter-Zeitplan stammt aus der modular-manifolds-Forschung
- Die Stärke des Weight Decay wird an das Quadrat der Lernrate gekoppelt, um die gesamte Gewichtsgröße auch bei unterschiedlicher Trainingsdauer stabil zu halten
- Das anschließende Training deckt Mathematik, agentisches Coding und Tool-Nutzung, Audio, Bilder, Dialog und Sicherheit ab
- Für frühes SFT wurden synthetische Daten verwendet, die von Open-Weight-Modellen wie Kimi K2.5 generiert wurden
- Frühes SFT macht nur einen kleinen Teil des gesamten Rechenaufwands aus; der Großteil entfällt auf groß angelegtes Reinforcement Learning in synthetischen und von Menschen erstellten Umgebungen
- Asynchrones Reinforcement Learning wurde auf über 30 Millionen Rollouts skaliert und lernte in zwei längeren kontinuierlichen Läufen stabil
- Ein separater Reasoning-Evaluationswert, der AIME, HLE, GPQA und weitere bündelt, verbesserte sich über den gesamten Prozess log-linear
- Durch Variation von Systemnachricht und Token-Kosten wurde der Aufwand pro Sample festgelegt; das Modell lernte, unterschiedliche Token-Mengen zu verwenden, und erhielt so die Fähigkeit zur Steuerung des Reasoning-Aufwands
- Im Verlauf des Reinforcement Learning veränderte sich der Denkprozess zu einer komprimierten Form, die grammatische Verknüpfungen und Artikel reduziert, während Verständlichkeit und finale Antworten erhalten blieben
- Dies war kein direkt belohntes Ziel, sondern eine Veränderung durch Effizienzdruck
- Ein ähnliches Phänomen wurde auch beim Training von Cognitions SWE-1.7 beobachtet
- In Folgemodellen soll der Rechenumfang über Vortraining, nachgelagertes Training und Reinforcement Learning hinweg weiter erhöht werden
Preview des kleineren und schnelleren Inkling-Small
- Inkling-Small ist ein MoE-Modell mit insgesamt 276B und 12B aktiven Parametern und hat geringere Kosten und Latenz als Inkling mit 41B aktiven Parametern
- Dank verbesserter Vortrainingsdaten und Trainingsmethoden erzielte es in mehreren Benchmarks ähnliche oder höhere Ergebnisse als das große Inkling; beide Modelle nutzen denselben skalierenden Stack für nachgelagertes Training
- Die wichtigsten Ergebnisse bei effort=0.99 im Vergleich zum großen Modell sind:
- HLE Tool-Nutzung 46.6% vs. 46.0%, GPQA Diamond 88.3% vs. 87.2%
- MCP-Atlas 74.9% vs. 74.1%, IFBench 83.4% vs. 79.8%
- Charxiv RQ mit Python-Nutzung 83.4% vs. 82.0%, MMAU 77.5% vs. 77.2%, StrongREJECT 98.8% vs. 98.6%
- Es gibt auch niedrigere Ergebnisse als beim großen Modell
- Terminal Bench 2.1 liegt bei 52.7% vs. 63.8%, Tau 3 Banking bei 13.6% vs. 23.7%
- SimpleQA Verified liegt bei 20.9% vs. 43.9%, Audio MC bei 49.6% vs. 56.6%
- Es eignet sich für kosten- und latenzsensitive Aufgaben wie Coding, LLM-basierte Bewertung und Erzeugung synthetischer Daten für andere Modelle
- Derzeit werden die Tests abgeschlossen; danach sollen die vollständigen Gewichte veröffentlicht werden
Finetuning- und Deployment-Ökosystem
- Organisationsspezifische Spezialprobleme, die mit universellen Modellen schwer zu lösen sind, können durch Finetuning unter Nutzung von Fachwissen besser adressiert werden; Inkling ist darauf ausgelegt, beim Finetuning schnell zu lernen
- In Tinker ist Inkling mit Kontextlängen von 64K und 256K verfügbar
- Für begrenzte Zeit gilt ein Preisnachlass von 50%
- Details zu den Preisen sind in der Tinker-Modelldokumentation zu finden
- Das Tinker cookbook unterstützt Inkling nativ und ergänzt drei Rezepte für Audiofunktionen
- tml-renderer bietet Funktionen zum zuverlässigen Sampling und nachgelagerten Training von Tool-Aufrufen, Reasoning-Inhalten und multimodalen Eingaben
- Der Inkling Playground ist eine Chat-Oberfläche mit integrierter agentischer Websuche und für begrenzte Zeit kostenlos
- Über Tinker feinabgestimmte Checkpoints können über die APIs von TogetherAI, Fireworks, Modal, Databricks und Baseten deployed werden
- Auch das Open-Source-Ökosystem für Inferenz und Reinforcement Learning wird unterstützt
- In Zusammenarbeit mit RadixArk werden SGLang und Miles unterstützt
- Integrationen bestehen mit Inferact und vLLM, Lightseek und TokenSpeed, sowie Unsloth und llama.cpp
- Die Integration mit transformers von Hugging Face wird unterstützt
- Im Inkling-Repository auf Hugging Face sind die Original-Checkpoints sowie NVFP4-Checkpoints für effiziente Inferenz auf NVIDIA Blackwell erhältlich
1 Kommentare
Hacker-News-Kommentare
Es ist erfreulich, dass dies das größte Open-Weight-Multimodalmodell mit Audio-Unterstützung ist, und ich bin gespannt, wie gut die Audio-Performance in der Praxis wirklich ist.
Für die lokale Ausführung können folgende Materialien hilfreich sein:
https://github.com/danielhanchen/llama.cpp/tree/add-inkling
https://unsloth.ai/docs/models/inkling
https://huggingface.co/unsloth/inkling-GGUF
https://huggingface.co/unsloth/inkling-NVFP4
Es heißt, es sei besser als KimiK2.7, aber obwohl GLM5.2 viel Aufmerksamkeit bekommt, nutze ich immer noch ungefähr zur Hälfte KimiK2.7. Wenn die Benchmarks stimmen, ist es auf jeden Fall eine ernsthafte Option, und ich hoffe, dass es in manchen Bereichen alle anderen Open-Weight-Modelle übertrifft.
Auch die USA brauchen ihr eigenes DeepSeek oder Z.ai. Viele, mich eingeschlossen, hoffen auf den Erfolg chinesischer Open-Modelle, weil es keine wirklichen Alternativen gibt, und Thinking Machines könnte diese Rolle übernehmen.
Eine aktuelle Liste ihrer Open-Weight-Modelle gibt es unter https://www.arcee.ai/open-source-catalog
Trotzdem wirkt die Kombination aus Fine-Tuning-API und Open-Weight-Modellen zumindest wie ein tragfähiges Geschäftsmodell. Wenn es am Ende nur um QLoRA oder LoRA geht, ist für mich allerdings noch offen, warum Besitzer offener Modelle Fine-Tuning unbedingt besser anbieten können sollten, aber es bleibt spannend.
Ein offenes Basismodell, das sich in Tinker feinjustieren lässt, halte ich für ein hervorragendes Geschäftsmodell. Unternehmen können ihr eigenes Modell besitzen und dabei für bestimmte Aufgaben zu deutlich geringeren Kosten als bei Frontier-Modellen Leistungen darüber erzielen, während Thinking Machines zum zentralen Infrastruktur- und Serviceanbieter dieses Ökosystems werden kann.
Beeindruckend ist auch, dass das kleinere Inkling-Small dank besserer Vortrainingsdaten und verbesserter Trainingsmethoden in mehreren Benchmarks gleich gut oder besser als größere Modelle abschneidet. Ich freue mich auf die nächste Generation der Thinky-Modelle.
Die Entwicklung moderner Modelle erfordert eine erstaunliche Vielfalt an Arbeitsschritten. Früher reichte es, eine neue Loss-Funktion oder eine kleine Architekturänderung zu bauen, den Trainings- und Evaluations-Loop laufen zu lassen und das Ergebnis zu veröffentlichen, aber inzwischen ist selbst das Aufholen zu einem gewaltigen Red-Queen-Rennen geworden.
Dass es rund 500 Schritte gibt und jeder davon ein kleiner Optimierungs-Loop ist, ist geradezu erstaunlich. Dadurch wurde sogar das alte Gesetz umgedreht, dass kleine Teams schneller sind als große: Für KI braucht man große Teams. Organisatorische Trägheit wird erst ab mehreren Tausend Leuten zum Problem; davor ist es schwer, all diese vielen Bausteine nur mit 12 außergewöhnlich guten Leuten zu stemmen.
Es ist schön, ein starkes Open-Weight-Modell mit langem Kontext und Multimodalität zu sehen. Viele Anwendungen können von der Audio-Performance profitieren, und bis z.ai und andere ihre visuellen Fähigkeiten weiter ausbauen, könnte es auch für allgemeine agentische Anwendungen stark sein.
Allerdings zeigt es in einigen relevanten Benchmarks auch Schwächen. Wie bei anderen Modellen muss man es am Ende selbst in die eigene Harness stecken und für die Aufgaben bewerten, die einem wichtig sind.
Wenn man bedenkt, dass dies ihr erstes Modell ist und es offen veröffentlicht wurde, beginne ich wieder Vertrauen in offene KI-Labore aus den USA zu fassen. Ich konnte es noch nicht testen, weil es noch nicht bei OpenRouter und anderswo verfügbar ist, aber selbst wenn es nur auf dem Niveau von GLM5.1 liegt, wäre das für einen ersten Versuch schon sehr stark.
In Kürze dürften mehr Labore in die Nähe des State of the Art aufschließen, und mehr Wettbewerb ist in jedem Bereich zu begrüßen.
Das sind noch sehr frühe Tests, aber das Modell hat mehr Potenzial, als die Benchmarks zeigen. Außer bei Modellen von Anthropic habe ich fast nie erlebt, dass meine privaten Evaluierungen so viel besser ausfallen als öffentliche Bewertungen; es ist noch zu früh für ein Urteil, aber ich werde in den nächsten Wochen wohl einiges an Zeit hineinstecken.
Unter den Open-Weight-Modellen hielt ich bisher nur Modelle von Moonshot AI für das Risiko wert, und Z.AI schnitt in meinem Aufgabenbereich nicht annähernd so gut ab, aber dieses Modell könnte zur zweiten echten Option werden. Wenn Mistral so ein Modell veröffentlicht hätte, würden europäische Enthusiasten wie ich wahrscheinlich ununterbrochen darüber reden.
Kein Modell irgendeines anderen Labs, einschließlich Fable 5 und GPT-5.6 Sol, konnte diese Fragen ohne Webzugriff korrekt beantworten, obwohl sie für Fachkundige zum Allgemeinwissen gehören und es klare objektive Antworten gibt. Dass es bei Aufgaben, die nicht in öffentlichen Benchmarks vorkommen und daher schwer zu überfitten sind, vor Fable 5 liegt, ist ziemlich beeindruckend.
Besonders die Befolgung von Anweisungen wirkt stark, aber beim Coding scheint es schwächer als andere Modelle zu sein. Dennoch ist mehr Vielfalt bei Open-Weight-Modellen immer willkommen, und ich sollte es selbst testen, um ein Gefühl für seinen Charakter zu bekommen.
Das war das Ergebnis auf die Anfrage: „Schau dir die Startseite von Hacker News heute an und erstelle daraus ein tägliches Briefing mit den heutigen Tech-News, das ich später lesen kann.“
https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
Insgesamt besser als Nemotron, aber schwächer als GLM, also derzeit wohl das beste US-amerikanische Open-Weight-Modell.
Ich habe heute Hy3 ausprobiert, und es hat mir gefallen; es war eine leichte Verbesserung gegenüber DSV4P. Wenn dazu noch Multimodalität kommt, wirkt das insgesamt ziemlich ordentlich.