Kimi K2 Thinking, SOTA-Open-Source-Inferenzmodell mit einer Billion Parametern

 (moonshotai.github.io)
2 Punkte von GN⁺ 2025-11-07 | 1 Kommentare | Auf WhatsApp teilen
  • Kimi K2 Thinking ist ein Open-Source-Inferenzmodell, das Werkzeuge nutzt und Schritt für Schritt denkt und dabei bei der Lösung komplexer Probleme einen menschenähnlichen Denkprozess umsetzt
  • Erreicht State of the Art (SOTA) in wichtigen Benchmarks wie Humanity’s Last Exam(HLE), BrowseComp und SWE-Bench Verified
  • Führt bis zu 200–300 aufeinanderfolgende Tool-Aufrufe aus und skaliert über Test-Time Scaling gleichzeitig Denk-Token und Tool-Aufrufschritte
  • Zeigt herausragende Leistung in den Bereichen agentisches (Agentic) Schlussfolgern, Suchen und Coden und löst komplexe Mathematik-, Coding- und Web-Navigationsprobleme mit langfristiger Planung
  • Erzielt durch INT4-quantisierungsbasierte Inferenzoptimierung eine doppelte Geschwindigkeit und geringeren GPU-Speicherbedarf und erreicht damit eine Spitzen-Effizienz unter großen Open-Source-Modellen

Einführung in Kimi K2 Thinking

  • Kimi K2 Thinking ist das von Moonshot AI veröffentlichte leistungsstärkste Open-Source-Denkmodell
    • Architektur eines „thinking agent“, der auch während der Tool-Nutzung schrittweise schlussfolgert
    • Erzielt State of the Art bei HLE, BrowseComp und weiteren Benchmarks
  • Durch Test-Time Scaling werden die Anzahl der Denk-Token und die Tool-Aufrufschritte gleichzeitig skaliert
  • Derzeit im Chat-Modus auf kimi.com verfügbar; der vollständige agentische Modus soll in Kürze veröffentlicht werden
  • Externe Anbindung über API möglich

Bewertungsergebnisse

  • Erreicht 44,9 % bei HLE (mit Tool-Nutzung), 60,2 % bei BrowseComp und 71,3 % bei SWE-Bench Verified
  • Belegt konsistente Generalisierungsfähigkeit bei der Lösung fachübergreifender Probleme auf Expertenniveau
  • Leistungssteigerung gegenüber bestehenden Modellen über agentisches Schlussfolgern, Suchen und Coden hinweg

Agentisches Schlussfolgern (Agentic Reasoning)

  • Erreicht mit 44,9 % einen Bestwert bei Humanity’s Last Exam(HLE)
    • Geschlossener Benchmark mit Problemen auf Expertenniveau aus mehr als 100 Fachgebieten
    • Parallele Nutzung von Such-, Python- und Web-Browsing-Tools
  • Präsentiert ein Beispiel zur Lösung eines mathematischen Problems auf Promotionsniveau, bei dem 23 Schritte aus Schlussfolgern und Tool-Aufrufen abwechselnd ausgeführt werden
  • Kann komplexe wissenschaftliche Probleme durch Hunderte Schritte aus Planung, Schlussfolgern, Ausführung und Anpassung lösen

Agentisches Coden (Agentic Coding)

  • Erzielt 61,1 % bei SWE-Multilingual, 71,3 % bei SWE-Bench Verified und 47,1 % bei Terminal-Bench
  • Hohe Qualität insbesondere bei frontend-orientierten Aufgaben rund um HTML, React und andere Komponenten
  • Unterstützt präzise und flexible Code-Generierung durch mehrstufige Entwicklungs-Workflows mit Tool-Aufrufen
  • Zeigt Beispiele für die Erstellung komplexer Anwendungen wie Websites und Dokumenteneditoren mit nur einem Prompt

Agentische Suche und Browsing (Agentic Search and Browsing)

  • Erreicht 60,2 % bei BrowseComp und liegt damit deutlich über dem menschlichen Referenzwert (29,2 %)
    • Belegt Fähigkeit zur Erfassung und Schlussfolgerung auf Basis von Web-Informationen in Echtzeit
  • Führt 200–300 aufeinanderfolgende Tool-Aufrufe aus und realisiert langfristige Planung und adaptive Schlussfolgerung
  • Zerlegt über eine wiederholte Schleife aus
    „Denken → Suchen → Browser verwenden → Denken → Coden“
    komplexe offene Probleme in strukturierte Teilaufgaben

Allgemeine Fähigkeiten (General Capabilities)

  • Kreatives Schreiben: Erzeugt Erzählungen mit reicher Ausdruckskraft und emotionaler Tiefe
  • Praktisches Schreiben: Verbesserte logische Struktur und Genauigkeit bei Anweisungen, geeignet für akademische und forschungsbezogene Inhalte
  • Emotionale Reaktion: Bietet empathische und konkrete Ratschläge mit stärkerer menschlicher Ausgewogenheit

Inferenz-Effizienz (Inference Efficiency)

  • Durch Anwendung von INT4 Weight-Only Quantization (QAT) werden doppelte Geschwindigkeit und geringerer Speicherverbrauch erreicht
  • Bewahrt auch bei großskaliger Inferenz einen präzisen Denkprozess ohne Leistungseinbußen
  • Alle Benchmark-Ergebnisse werden auf Basis von INT4-Präzision berichtet

Vergleich der Gesamtleistung

  • In wichtigen Benchmarks gleichwertige oder bessere Leistung als GPT‑5, Claude Sonnet 4.5, DeepSeek‑V3.2 und andere
  • Erreicht in Reasoning, Coding und Agentic Search durchgängig Spitzenniveau im Open-Source-Bereich

Zusammenfassung:
Kimi K2 Thinking ist ein Open-Source-Inferenzmodell mit Parametern in der Größenordnung einer Billion, das werkzeuggestütztes schrittweises Denken ausführt und bei der Lösung komplexer Probleme sowie langfristiger Planung gleichzeitig SOTA-Leistung und Effizienz erreicht.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-11-07
Hacker-News-Kommentare

  • Mit uv tool install llm wurde das Modell Moonshot Kimi-K2-Thinking installiert und mit dem Befehl llm -m moonshot/kimi-k2-thinking 'Generate an SVG of a pelican riding a bicycle' ein SVG erzeugt.
    Das Ergebnis ist unter diesem Link zu sehen.
    Das mit moonshotai/kimi-k2-thinking über OpenRouter ausgeführte Ergebnis fiel in dieser Version deutlich ausgefeilter aus.

    • Das OpenRouter-Ergebnis scheint von einem quantisierten Hosting-Anbieter zu stammen.
      Im Vergleich zu einem direkten API-Aufruf bei Moonshot ist der Unterschied fast wie Tag und Nacht.
      Dass OpenRouter Quantisierungsbeschränkungen nur pro API und nicht pro Konto setzt, macht die Nutzererfahrung etwas verwirrend.
    • Es ist interessant, wie dieser Benchmark mit jedem neuen Modell immer symbolischer wird.
      Die Leistung der GPT-5-Reihe ist nach wie vor kaum zu glauben, aber es ist schön zu sehen, dass Open-Source-Modelle zunehmend ambitionierte Versuche unternehmen.
    • Ich frage mich, ob beim Ausführen die Temperature auf 0 fixiert wurde, um die Konsistenz zu wahren.
    • Ich frage mich außerdem, wo man ein Modell mit 1 Billion Parametern überhaupt laufen lässt.

  • Mehr Wettbewerb und mehr Open Source sind gut, aber mich interessiert mehr, wie gut eine Kombination aus kleinem LLM und Agenten beim Coden und Schließen sein kann.
    Ideal wäre etwas, das lokal oder auf günstigen Clustern laufen kann.
    Das ursprüngliche Ziel von OpenAI war der Nutzen für die gesamte Menschheit, aber inzwischen hat sich das in eine bezahlzentrierte Struktur verwandelt, bei der am Ende vor allem Wohlhabende profitieren, was ich schade finde.

    • Solche Experimente mit kleinen Modellen gibt es bereits reichlich.
      Die Ergebnisse sind aber noch unzureichend, und wenn man bereits effiziente kleine Modelle bauen könnte, gäbe es kaum einen Grund für große Modelle.
      Natürlich könnte sich dieses Bild ändern, wenn neue Ideen auftauchen.
    • Früher war ich auch auf das „intelligenteste Modell“ fixiert, aber in der Praxis erledigen kleine Modelle dieselbe Arbeit viel schneller.
      Deshalb ist mein Ziel inzwischen, „das kleinste Modell zu finden, das meine Aufgabe lösen kann“.
      Hohe Benchmark-Werte wirken eher wie ein Hinweis auf überdimensionierte Spezifikationen und Verschwendung.
    • Wenn etwas „Open Source“ ist, sollte man die Trainingsdaten herunterladen können und es sollten Skripte für ein End-to-End-Retraining enthalten sein.
      Es ist eine falsche Verwendung des Begriffs, nur Inferenz-Binaries zu verteilen und das dann Open Source zu nennen.
    • Ich verstehe nicht, warum es keine ultrakleinen Modelle auf Expertenniveau gibt.
      Wer zum Beispiel nur Go nutzt, braucht eigentlich nur ein Go-Modell.
      Eine Struktur, bei der mehrere spezialisierte Modelle im Speicher ausgetauscht werden, wäre vermutlich deutlich effizienter.
      Trotzdem streben die meisten weiterhin riesige Allzweckmodelle an.
      Ich habe bisher nur CoPilot-Abos und Ollama genutzt, aber ich glaube, dass künftig Kombinationen aus vielen 1–2B-Modellen zum Standard werden.
    • Tatsächlich beruht der Fortschritt großer Modelle größtenteils auf Optimierung und Skalierung.
      Solche Techniken führen am Ende aber auch zu besseren kleinen Modellen.
      DeepSeek ist ein gutes Beispiel dafür: Innovationen bei großen Modellen kommen auch kleinen Modellen zugute.
      Dieses Modell hat übrigens eine MoE-Architektur, bei der jeweils nur 32 Milliarden Parameter gleichzeitig aktiviert werden.

  • In den letzten Monaten haben vier chinesische Unternehmen (DeepSeek, Qwen/Alibaba, Kimi/Moonshot, GLM/Z.ai) hervorragende Open-Source-Modelle veröffentlicht.
    Von US- oder europäischen Unternehmen, ja nicht einmal von Meta, sieht man so etwas derzeit nicht. Woran liegt das?

    • OpenAI hat natürlich im August auch GPT-OSS vorgestellt.
      Qwen 235 gefällt mir auch, aber die Frage, ob „Open Source“ Open Weights oder vollständige Offenlegung bedeutet, ist weiterhin unklar.
    • Chinesische Unternehmen haben nur eingeschränkten Zugang zu den neuesten GPUs und wählen daher die Strategie, ihre Modelle als Open Source zu veröffentlichen.
      US-Unternehmen hingegen scheuen sich vor einer Freigabe, weil sie ihre massiven GPU-Investitionen wieder hereinholen müssen.
    • Ein weiterer Grund ist, dass es wegen Datenschutzbedenken nur wenige zahlende Kunden gibt.
      Am Ende bleibt außer einer kostenlosen Veröffentlichung kaum eine andere Option.
    • Meta scheint nach DeepSeek seine Open-Weights-Strategie aufgegeben zu haben.

  • Das Beispiel wirkt zwar etwas cherry-picked, ist aber trotzdem beeindruckend.
    Ich habe OSS-Modelle bereits in Workflows eingebaut und kenne ihre Grenzen gut, aber solche Ergebnisse sind selbst für Frontier-Modelle schwer.
    Ich bin gespannt, wie sich das weiterentwickelt.

    • Für mich persönlich fühlt sich Kimi deutlich „intelligenter“ an, als es die Benchmarks vermuten lassen.
      Vermutlich, weil dort weniger auf punktgenaues Benchmark-Tuning gesetzt wurde als in US-Laboren.

  • Laut OpenRouter-Preisliste kostet das Modell $0.60 pro 1 Million Eingabetoken und $2.50 für die Ausgabe.
    Bei dieser Leistung ist das viermal günstiger als vergleichbare Modelle, daher frage ich mich, ob es mit Verlust gehostet wird oder ob andere Modelle einfach sehr hohe Margen haben.

    • Wenn man die Trainingskosten ausklammert, erzielen andere Modelle sehr hohe Margen.
      Siehe dazu diesen Artikel.
    • Die Open-Source-Modelle bei OpenRouter werden nahe an den reinen Hardwarekosten bepreist.
      Einige laufen auf subventionierter Infrastruktur, sodass unter Umständen trotzdem Gewinn übrig bleibt.

  • Nur dieses Modell hat kürzlich das „Stacking-Problem“ auf menschenähnliche Weise gelöst.
    In diesem Beitrag ging es vor allem darum, dass es das Konzept verstand, die Last auf neun Eier zu verteilen.

    • Allerdings wies jemand darauf hin, dass genau dieses Problem bereits in den Trainingsdaten enthalten gewesen sein könnte.
    • Ein anderer Nutzer teilte ein echtes Gesprächsbeispiel, in dem zu sehen ist, wie das Modell nach mehreren Feedback-Runden eine physikalisch mögliche Stapelanordnung findet.
      Am Ende kam es zu einer realistischen Antwort mit der Reihenfolge „Buch → Flasche → Laptop → Nagel“.

  • Ich frage mich, was genau ein Reasoning-Modell ist.
    Ist damit einfach ein Modell gemeint, das im System-Prompt Scratchpad-Tokens dynamisch nutzt, oder ein Modell, das auf diese Weise feingetunt wurde?

    • Letzteres. Gemeint ist also ein feingetuntes Modell, das darauf trainiert wurde, Zwischenschritte des Denkens zu lernen.
      Das ist deutlich effektiver, als es nur per Prompt zu imitieren.
    • Meist meint man damit ein Modell, das innerhalb von Tokens wie <think></think> internes Denken ausführt und danach antwortet.
      Solche Formate werden mit RL oder formatbasiertem Reward-Training trainiert.

  • Die Non-Thinking-Version hat die beste Schreibqualität.
    Es wirkt, als würde hier ein neuer Ansatz ausprobiert, der sich von anderen Frontier-Laboren unterscheidet, was Hoffnung macht.

    • Ich sehe das eher anders. Ich mag es, weil es das größte Modell ist, das ich zu Hause laufen lassen kann, aber die übermäßig strukturierte Ausgabe wirkt eher künstlich.
      Es unterscheidet sich leider nicht besonders stark von der vorherigen Version.
    • Trotzdem wirkt Kimi K2 fein abgestimmt und insgesamt sehr ausgereift.

  • Es wäre gut, wenn man es über AWS Bedrock oder Google Vertex unter Gewährleistung von Data Residency nutzen könnte.

    • Wie beim vorherigen Modell sind die Gewichte offengelegt, daher dürfte es bald auch bei Drittanbietern gehostet verfügbar sein.
      Hugging-Face-Link
    • Die Non-Thinking-Version ist bereits bei Vertex AI gelistet.
      Bei diesem Modell werden sequenzielle Tool-Nutzung und Needle-in-a-Haystack-RAG hervorgehoben, genau die Punkte, die im praktischen Einsatz am wichtigsten sind.
      Thoughtworks hat übrigens Text-to-SQL kürzlich auf den Status „Hold“ gesetzt.

  • Es ist bereits auch über OpenRouter nutzbar.

    • Derzeit ist die Latenz allerdings hoch.