Kimi K3 konkurriert mit Fable, und die Kombination beider Modelle erreicht Leistung auf Spitzenniveau

• Der Vergleich von Kimi K3 und Fable 5 über rund 1.030 Agentenaufgaben zeigte, dass aufgabenbasiertes Routing mit 93 % Genauigkeit eine höhere Qualität als die einzelnen Modelle erreicht
• Bei SWE-, Terminal-, Algorithmus-, mehrsprachigen und juristischen Aufgaben war die Gesamtleistung ähnlich, aber die Stärken nach Aufgabenbereich unterschieden sich zwischen den beiden Modellen
• Oracle-Routing wies 72–96 % der Aufgaben K3 zu, und K3 war in allen fünf Aufgabengruppen kosteneffizienter als Fable
• In langen Agenten-Loops zeigte K3 gegenüber der alleinigen Nutzung von Fable eine bis zu etwa 50-fach höhere Kosteneffizienz, allerdings kann die Bearbeitungszeit durch mehr Ausführungsschritte länger werden
• Ein auf Workloads zugeschnittener Router, der günstige Open-Modelle als Standard nutzt und schwierigere Aufgaben an andere Modelle weiterleitet, kann Qualität und Kosten zugleich verbessern

---

Gemessen an realen Agentenaufgaben

• Kimi K3 und Fable 5 wurden im selben Harness ausgeführt und bearbeiteten rund 1.030 Aufgaben in Form realer Agenten-Loops
  • SWE: 460 Aufgaben ähnlich zu Bugfixes in realen Repositories
  • Terminal: 89 langfristige Agentenaufgaben aus Bereichen wie Sicherheit, Kryptografie, Reverse Engineering und Systemadministration
  • Algorithmen: 100 Aufgaben vom Typ LeetCode und AtCoder
  • Mehrsprachig: 225 Implementierungsaufgaben in 6 Sprachen
  • Recht: 120 juristische Agentenaufgaben, bewertet von Anwälten
• Die beiden Modelle wurden verglichen, indem Benchmark-Ergebnisse über mehrere Aufgabentypen gemittelt wurden

Bedeutung und Grenzen von Oracle-Routing

• Oracle-Routing ist ein theoretisches Messverfahren, bei dem jede Aufgabe auf allen Modellen ausgeführt wird und anschließend unter den korrekten Antworten das günstigste Modell gewählt wird
• Ein realer Router kann Aufgaben nicht vorab auf mehreren Modellen ausführen und muss daher im Voraus das Modell mit dem besten Gleichgewicht aus Kosten und Qualität vorhersagen
• In diesem Verfahren wurde K3 für 72–96 % aller Aufgaben ausgewählt
• Ein Router könnte alltägliche Aufgaben von Long-Tail-Aufgaben trennen, für die Top-Modelle nötig sind
  • Um das zu bestätigen, braucht es nicht nur Daten im einstelligen Umfang, sondern zusätzliche Routing-Daten im etwa zehnfachen Umfang sowie Leistungsvalidierung in realen Umgebungen

Gesamtleistung ähnlich, Stärken aber unterschiedlich

• Ein repräsentatives SWE-Ergebnis lag bei K3 bei 92,4 %, bei Fable bei 92,6 % und war damit nahezu identisch
• Auch über alle 5 Aufgabentypen hinweg lag der Unterschied meist innerhalb weniger Prozentpunkte, wobei Fable beim mehrsprachigen Coding leicht vorne lag
• Trotz ähnlicher Gesamtwerte zeigten sich bei Detailaufgaben klare Bereiche, in denen jeweils eines der Modelle überlegen war

Unterschiede nach Aufgabenbereich

• Teilt man SWE nach Problembereichen auf, war K3 bei symbolischer Mathematik und Developer-Tools überlegen, Fable dagegen bei Web- und Datenvisualisierungsaufgaben
• Bei mehrsprachigen Aufgaben lag Fable in Java, Python und C++ vorne, während K3 in JavaScript und Rust gleichauf lag
• Bei langen Terminal-Aufgaben mit dutzenden Shell-Interaktionen zeigte K3 seine Stärke
  • Es löste 7z-Hashes, FEAL-Kryptoanalyse, offengelegte Geheimnisse, reale Schwachstellen und unkontrollierbare asynchrone Aufgaben, die Fable nicht lösen konnte
• Vergleicht man Genauigkeit und Kosten gemeinsam, lag Fable bei Mehrsprachigkeit vorn, K3 bei Terminal und Recht, der Rest war weitgehend ähnlich

Die Struktur hinter dem Kostenunterschied

• Der Kostenvorteil von K3 entsteht durch Token-Preise, Prompt-Caching und den Einsatz pro Aufgabe
• Pro SWE-Aufgabe verwendete K3 etwa 55 Turns und 1,3 Millionen Tokens, Fable dagegen etwa 21 Turns und 130.000 Tokens
• Bei langen Terminal-Aufgaben nutzte umgekehrt Fable bis zu etwa 64 Turns und 1,5 Millionen Tokens und erreichte teils Timeouts
• Obwohl K3 bei SWE 10-mal mehr Tokens las, lagen die Ausführungskosten dank Prompt-Cache-Treffern unter denen von Fable
• Wenn die Zahl der Ausführungsschritte steigt, kann die reale Bearbeitungszeit länger werden
  • Bei Aufgaben, die innerhalb von 2 Sekunden beantwortet werden müssen, ist Latenz wichtig
  • Bei großen Hintergrund-Agenten ist eine niedrigere Kostenrechnung wichtiger

Ergebnis der Kombination beider Modelle

• Werden Aufgaben jeweils an das passendere Modell geleitet, ergibt sich nicht nur ein Mittelwert zwischen beiden, sondern eine höhere Leistung als bei jedem einzelnen Modell
• Aufgabenbasiertes Oracle-Routing zeigte durchgehend bessere Leistung als die Ausführung mit nur einem einzelnen Modell, und die Gesamtgenauigkeit erreichte 93 %
• Obwohl 72–96 % des Traffics an K3 als kostenoptimiertes Modell gingen, lag die Gesamtqualität über der jedes einzelnen Modells, während die Kosten nahe an der alleinigen Nutzung von K3 blieben
• K3 war in allen fünf Aufgabengruppen kosteneffizienter als Fable und erreichte in langen Agenten-Loops eine bis zu etwa 50-fach höhere Kosteneffizienz

Workload-spezifisches Routing statt Einzelmodell

• Wenn Kimi K3 und Fable gemeinsam geroutet werden, lassen sich ihre unterschiedlichen Stärken nutzen und zugleich Kosten senken
• Da sich Preise und Spezialgebiete je nach Modell unterscheiden, kann KI mit der höchsten Qualität eher aus der Kombination mehrerer Modelle als von einem einzelnen Anbieter kommen
• Ein Open-Modell wie K3, dessen Kosten bis zu 50-mal niedriger sind und dem das Oracle den Großteil des Traffics zuweist, kann als Standardoption dienen
• Router sollten auf reale Workloads zugeschnitten sein und die Eignung von Aufgaben und Modellen kontinuierlich weiterlernen

[GN⁺]

Hacker-News-Kommentare

• Wenn man sie selbst laufen lässt und testet, sind diese Modelle alle auf Benchmarks überangepasst. Selbst wenn sie bei manchen Metriken an Frontline-Modelle herankommen, brechen sie bei realen Aufgaben ein, und auch die Token-Effizienz ist absurd niedrig
  Fireworks profitiert im Gegensatz zu geschlossenen Modellen stark vom Hosting von K3 und hat daher einen sehr großen Anreiz, solche Schlagzeilen zu setzen

  • Nach einigen Tagen Tests mit K3, Qwen 3.8 Max Preview, Fable und Sol stimme ich teilweise zu, dass Benchmarks schwer zu trauen ist und chinesische Modelle langsam sind sowie eine niedrige Token-Effizienz haben
    Trotzdem liegen sie ungefähr auf dem Niveau der Top-Modelle der vorherigen Generation Opus 4.8 und GPT 5.5, und man kann sie auch unter https://senko.net/vibecode-bench/ vergleichen
    Ich habe sie über die offizielle API und ihre jeweiligen Coding-Tools aus einer detaillierten Spezifikation eine einfache, aber nicht ganz triviale Web-App bauen lassen; bei Nutzertests waren die Ergebnisse von K3, Qwen 3.8 und Fable fast gleich, und auch bei Sols Code-Review waren alle ordentlich, wobei Fable leicht vorne lag
    In der Praxis bevorzuge ich weiterhin Opus 4.8 und Sol, aber wenn man Alternativen braucht, sind K3 und Qwen 3.8 ebenfalls absolut brauchbar
  • Alle sind auf Benchmarks überangepasst, aber entscheidend ist, wie stark sie im Vergleich zueinander überangepasst sind
    Die Coding-Fähigkeiten werden meist in offenen Multi-Agenten-Umgebungen ohne Lösungssatz bewertet, in denen die Agenten sich gegenseitig beeinflussen; dort schneiden chinesische Modelle tendenziell schlechter ab als in ihren beworbenen Model Cards im Vergleich zu US-Modellen
    Kimi K3 ist als Ausnahme tatsächlich nahe an der Frontline, aber sehr langsam. Muse Spark 1.1 ist nach Fable und Sol besonders stark und zugleich am kosteneffizientesten, was seit Llama 4 eine deutliche Wende ist. Die Daten stehen unter https://gertlabs.com/rankings
  • Fable funktioniert selbst bei ziemlich großen Codebases sehr gut. Ich musste ein paarmal nachbessern oder die Richtung vorgeben, aber meist lag das daran, dass die Anforderungen im Prompt unzureichend waren; tatsächlich falsch lag es nur etwa zweimal und hatte damit eine niedrigere Fehlerquote als meine Berufslaufbahn
    Die Codequalität entspricht dem, was ich selbst schreiben würde, und in Bereichen, mit denen ich weniger vertraut bin, ist sie sogar besser. Auch Aufgaben, die Menschen gern aufschieben oder langweilig finden, wie Refactoring, Integrations- und Regressionstests sowie die Prüfung von Audit-Logs und Fehlerbenachrichtigungen, erledigt es konstant, was das gesamte Software-Engineering-Niveau hebt
    Es handelt sich um einen relativ komplexen produktiven Ruby-on-Rails-Dienst mit PostgreSQL; im Max-Tarif für 200 Dollar im Monat war das Token-Budget kein Problem, und die Kosten waren den Wert völlig wert
  • Den Artikel habe ich nicht gelesen, aber schon die Überschrift wirkte verdächtig, weil ein Inference-Service-Anbieter ein Modell der Mythos-Klasse aus dem eigenen Angebot hervorhebt. GLM 5.2 mit nicht einmal einem Drittel der Parameter von Kimi K3 ist weiterhin das Hauptmodell
  • Bei all diesen Bewertungen braucht es den Zusatz zum jetzigen Zeitpunkt. Der Trend zeigt klar, dass sie zwar noch nicht gut genug fürs Coding sind, aber bald dort ankommen werden, und wir sollten uns auf eine Welt vorbereiten, in der offene Modelle fast alle Softwareaufgaben erledigen

• Interessant ist, dass etwa 1.000 Aufgaben aus fünf Bereichen wie Software Engineering und Recht auf Kimi K3 und Fable getestet wurden
  Davor wird ein Router-Modell geschaltet, das vorhersagt, mit welchem Modell die richtige Antwort günstiger zu erzielen ist; langfristig sollte man es letztlich mit den jeweiligen eigenen Workloads weitertrainieren
  Der Router wählte je nach Bereich bei 72 bis 96 % der Aufgaben Kimi aus und erzielte je nach Bereich Kosteneinsparungen um den Faktor 1,5 bis 50

  • Der Router hier ist ein Oracle-Benchmark, der beide Modelle ausführt, prüft, ob sie bestehen, und dann das billigere auswählt
    Das ist nur Fireworks' Annahme, dass sich Kosten senken lassen, falls es einen Router gibt, der dasselbe im Voraus vorhersagen kann; ob es ihn gibt, ist die große Voraussetzung
  • Ähnliche Router gibt es mehrere, etwa https://openrouter.ai/openrouter/auto

• Bei einem Modell, das wie ein Mensch spricht, würde ich auch einen Rückgang des Benchmark-Scores um 5 % in Kauf nehmen

  • Ich bevorzuge eher Modelle, die gar nicht erst versuchen, wie Menschen zu sprechen
  • Man muss die 5 % gar nicht opfern; man kann die Ausgabe von Fable einfach in Gemini Flash stecken und in besser lesbare Sätze umschreiben lassen
  • Ich bevorzuge nachdrücklich, dass ein Modell meinen menschlichen Tonfall nicht nachahmt. Wenn Claude sich wie ein Freund verhält und auf einen Witz mit LOL antwortet, ist das nicht nur albern, sondern sogar schädlich
  • Opus gibt standardmäßig einen Stil aus, den ich Claudeisch nenne. Übermäßig vereinfachte und grammatikalisch unvollständige Sätze, die qualvoll zu lesen sind; für das Modell mag das leicht zu lesen und zu schreiben sein, für Menschen aber nicht
    Zum Beispiel hat es eine lange Paper-Einführung als eine einzige Zeile ausgegeben, dicht verkettet mit Imperativfragmenten wie „überflieg das jetzt einmal und schau beim Lesen von Teil II wieder rein“, fetten Schlüsselwörtern und Pfeilen
  • Ein LLM ist kein Mensch, also gibt es keinen Grund, dass es unbedingt wie einer sprechen sollte

• Anthropic wirkt wie das Römische Reich im Zeitraffer und scheint schon vor dem IPO den Zenit überschritten zu haben und in die Phase des Niedergangs eingetreten zu sein

• Ich frage mich, wie Data Governance und Datenschutz gelten, wenn man den Kimi-K3-Coding-Plan abonniert. Ich würde gern von Anthropic wechseln

  • Laut https://platform.kimi.ai/docs/agreement/modeluse dürfen Inhalte zur Bereitstellung, Wartung, Entwicklung und Verbesserung des Dienstes usw. verwendet werden, und Kunden mit Bedarf an Trainingsbeschränkungen müssen einen separaten Unternehmensvertrag oder eine schriftliche Vereinbarung besprechen
    Anders als bei Claude gibt es keine Opt-out-Möglichkeit für das Modelltraining, und laut AGB kann Kimi Kundencode zum Training verwenden
  • Man muss wohl warten, bis westliche Anbieter mit dem Hosting beginnen
  • Am einfachsten ist es, sich bei OpenRouter anzumelden und alle Anbieter auszuschließen, die nicht Zero Data Retention (ZDR) bieten. Allerdings können die API-Kosten höher sein als beim Coding-Plan, und die 1,7 Milliarden Token im 20-Dollar-Monatsplan von MiniMax entsprechen je nach Ein-/Ausgabe- und Cache-Verhältnis einem API-Wert von über 200–500 Dollar
    Wenn man nicht direkt mit chinesischen Anbietern zu tun haben will, bieten AtlasCode für 20 Dollar im Monat, OpenCode Go für 10 Dollar im Monat und Cline Pass für 10 Dollar im Monat beim Verbrauch einiger beliebter Open-Weight-Modelle das 2- bis 6-Fache
    Ich persönlich habe Z.ai für 17 Dollar im Monat abonniert und zahle bei MiMo v2.5, Hy3, Qwen 3.7 Plus und DeepSeek v4 die API-Gebühren jeweils an den Originalanbieter
  • Die Datenschutzrichtlinie findet sich unter https://www.kimi.com/user/agreement/zh/userPrivacy

• Ich frage mich, ob man dafür bezahlt werden kann, solche Beiträge zu schreiben, um Open Models zu pushen, und wenn ja, welchem Zweck das dient
  Nach meiner Arbeit an modernen SaaS-Produkten mit FastAPI·Python und Spring Boot·Java war das einzige Open Model, das zugleich gut und effizient war, Qwen 3.7 Max
  GLM 5.2 und Kimi durchsuchen vor dem Schreiben von Code oft fast 70.000 bis 80.000 Token lang die Codebasis und machen den Code am Ende trotzdem kaputt. Sie funktionieren nur gut, wenn man ihnen wie vor einem Jahr extrem detaillierte Spezifikationen gibt, während Qwen 3.7 die Aufgabe ohne großen Aufwand erledigt

  • Gutes Content-Marketing. Fireworks ist ein großer Anbieter von Model-Inference und verkauft Zugang zu Kimi K3
  • Fireworks ist darauf spezialisiert, Open Models schnell auszuführen, und erzielt den Großteil seines Umsatzes mit chinesischen Modellen; der wirtschaftliche Anreiz ist also praktisch das gesamte Geschäftsmodell
  • Im Tech-Influence-Geschäft gibt es viel Geld, aber das meiste kommt von großen Anbietern, etwa durch OpenAIs Übernahme von tbpn oder durch Early Access für einige Influencer
  • Lin Qiao ist Mitgründer und CEO von Fireworks AI. LLMs entsprechen im Kalten Krieg zwischen den USA und China dem Wettlauf ins All, daher könnte der Anreiz, nationale oder zivilisatorische Überlegenheit zu beweisen, größer sein als Geld

• Ich frage mich, ob Kimi hier überhaupt etwas besonders gut kann. Soweit ich weiß, liegt der Preis ähnlich wie bei Sonnet 5, daher frage ich mich, wie es wäre, Sonnet 5 und Fable zu nutzen oder das günstigere Grok 4.5 zu nehmen

  • Der Beitrag sagt, dass Kimi bei manchen Aufgaben besser als Fable ist, aber das gilt vermutlich nicht für Sonnet
  • Open Models haben den Vorteil, dass große Unternehmen sie im eigenen Rechenzentrum lokal ausführen und feinabstimmen können

• Ich mag chinesische Modelle sehr und nutze nur DeepSeek; inzwischen setze ich auch Kimi K3 als großartigen Planungshilfen für anspruchsvolle Coding-Aufgaben ein
  DeepSeek v4 Flash ist sehr schnell und erledigt fast alles, was ich ihm mit Rust, PostgreSQL, Angular und Terraform auftrage
  Ich hoste Bifrost selbst als LLM-Gateway, würde mir aber wünschen, dass Anbieter statt Prepaid-Aufladung und automatischem Nachladen wie bei einem VPS monatlich oder täglich die tatsächliche Nutzung automatisch abrechnen. Ich möchte nur für den exakten Verbrauch zahlen, statt bei mehreren Anbietern nicht erstattungsfähige Mindestguthaben zu halten
  OpenRouter hilft, aber ich mag weder den Dienst selbst noch die Zusatzgebühren

  • Zurzeit nutze ich hauptsächlich DeepSeek v4 Pro; bei vielen parallelen Aufgaben ist Geschwindigkeit weniger wichtig. Wenn etwas fehlschlägt, wechsle ich mitten im Gespräch zu GPT 5.5, lasse es das Problem finden und schalte dann mit dieser Analyse im Kontext wieder zurück auf DeepSeek
    Kimi k2.5/6 ist langsamer und schwächer geworden, außerdem treten häufiger engine overloaded-Fehler auf, und k3 denkt zwar lange nach, liefert aber keine spürbar besseren Ergebnisse. Ich vermute, dass das Modell wegen Druck auf die Rechenressourcen vorübergehend quantisiert wurde
    In letzter Zeit nutze ich meist DeepSeek v4 Pro und greife zu GPT 5.5, wenn ich ein starkes Modell brauche. GLM 5.2 war für manche Aufgaben gut, für andere aber sehr schlecht, und die Modelle von Google oder Anthropic haben mich bisher nicht beeindruckt
  • Mit Tools wie reasonix oder whale erreicht man eine Cache-Trefferrate von etwa 98 %, sodass die Kosten pro Anfrage faktisch fast kostenlos werden. Das funktioniert sogar bei US-Anbietern ohne Subventionen wie Cloudflare oder DigitalOcean
  • Prepaid verhindert, dass Nutzer massenhaft Inferenzressourcen verbrauchen, dann ihre Karte kündigen und verschwinden. Ein VPS ist eine langfristige Investition und ein Wechsel ist schwieriger; selbst wenn manche Nutzer einen Monatsbetrag nicht zahlen, sind die Kosten für den Anbieter relativ gering
  • Ich schaue mir Bifrost an und frage mich, warum du dich für ein LLM-Gateway entschieden hast
    OpenRouter bietet fast jedes Modell ab dem Erscheinungstag an, aber an Bifrost ist attraktiv, dass man später OpenRouter verlassen kann, ohne den Rest des Tech-Stacks anzufassen. Wenn Self-Hosting realistisch wird, kann man die Abhängigkeit von OpenAI·Anthropic·OpenRouter senken und auch das Risiko verringern, dass ein bislang genutztes Modell plötzlich eingestellt wird
  • Ich frage mich, was dir am OpenRouter-Dienst außer den Zusatzgebühren nicht gefällt

• Eine Open-Model-Hosting-Firma sagt, dass Open Models großartig sind

  • Sie haben Methodik und Ergebnisse offengelegt, und ich habe die relativen Stärken und Schwächen von Kimi und Fable erfahren, die ich anderswo nicht gesehen habe. Nur weil jemand ein Model-Hosting-Geschäft betreibt, verliert er nicht das Recht, Ergebnisse zu teilen
  • Fireworks hostet nicht nur Open-Weight-Modelle, und nur weil große Schlagzeilen neue Kunden anziehen könnten, wird der Inhalt nicht falsch
  • Wer sie selbst genutzt hat, weiß, dass diese Einschätzung stimmt

• Ich suche nach einem Routing-Tool, das sich wie im Artikel beschrieben zusammen mit Claude Code nutzen lässt, oder nach einer anderen guten Routing-Plattform. Mir ist bewusst, dass der Router in diesem Artikel nach dem Oracle-Prinzip arbeitet.

  • https://github.com/code-yeongyu/oh-my-openagent implementiert das Oracle-Muster des Originaltexts über 11 Rollen hinweg
    Für jede Rolle gibt es empfohlene LLM-Ranglisten mehrerer Anbieter; zum Beispiel wird Sisyphus (claude-opus-4-8 / kimi-k3 / glm-5) als primärer Orchestrator verwendet.