Kimi K2 – Hochmodernes Mixture-of-Experts-(MoE)-Sprachmodell

• Kimi K2 von Moonshot AI ist ein hochmodernes Mixture-of-Experts-(MoE)-Sprachmodell mit 1 Billion Parametern
• Im Trainingsprozess wurde die Muon-Optimierungsmethode eingeführt, um Stabilitätsprobleme im großen Maßstab zu lösen
• Der Fokus liegt auf agentischer Intelligenz für Tool-Nutzung, Schlussfolgern und autonomes Problemlösen
• In verschiedenen Benchmarks wurde Spitzenleistung bei Coding, Mathematik und allgemeinen Aufgaben nachgewiesen
• Bereitstellung und Nutzung sind komfortabel; es werden eine OpenAI-/Anthropic-kompatible API sowie flexible Engine-Unterstützung geboten

---

Warum Kimi K2 wichtig ist

• Kimi K2 ist das neueste Mixture-of-Experts-(MoE)-Sprachmodell von Moonshot AI
• Mit einer Größe von 1 Billion Parametern und der innovativen Optimierungsmethode Muon bietet es hohe Leistung und Stabilität im Bereich großer Sprachmodelle
• Im Vergleich zu bestehenden leistungsstarken Open-Source-Modellen erreicht es in verschiedenen praxisnahen Einsatzfeldern wie Coding, Mathematik und Tool-Nutzung globalen State-of-the-Art (SOTA) beziehungsweise Open-Source-Spitzenniveau
• Es punktet sowohl bei der schnellen und stabilen Schulung großer Modelle als auch bei der Flexibilität zur Unterstützung verschiedenster KI-Anwendungsszenarien

1. Modellüberblick

• Kimi K2 ist ein hochmodernes MoE-Sprachmodell mit insgesamt 1 Billion (1T) Parametern und 32 Milliarden (32B) aktiven Parametern
• Mit dem Muon-Optimizer werden Instabilitäten beim Training großer Modelle wirksam behoben
• Es ist auf höherwertige Fähigkeiten wie Tool-Nutzung, komplexes Schlussfolgern und autonome Agenten spezialisiert

Hauptmerkmale

• Training im großen Maßstab: Das Modell mit 1 Billion Parametern wurde mit 15,5 Billionen Tokens vortrainiert, ohne dass Trainingsinstabilitäten auftraten
• MuonClip-Optimizer: Stabilität wird durch die Kombination des auf große Modelle spezialisierten Muon-Algorithmus mit neuen Optimierungstechniken sichergestellt
• Agentic Intelligence: Entwickelt mit Blick auf Tool-Nutzung, komplexes Schlussfolgern und autonomes Problemlösen

Modellvarianten

• Kimi-K2-Base: Basismodell für Custom-Fine-Tuning und den Einsatz durch Forschende
• Kimi-K2-Instruct: Für Chat und allgemeine Agenten optimiertes Post-Training-Modell

2. Modellzusammenfassung

• Architektur: Mixture-of-Experts (MoE)
• Gesamtparameter: 1 Billion (1.000.000.000.000)
• Aktive Parameter: 32 Milliarden (32B)
• Anzahl der Layer: 61 (einschließlich Dense Layer)
• Anzahl der Dense Layer: 1
• Attention hidden dimension: 7168
• MoE hidden dimension (pro Experte): 2048
• Attention Heads: 64
• Anzahl der Experten: 384
• Anzahl der pro Token ausgewählten Experten: 8
• Anzahl gemeinsamer Experten: 1
• Vokabulargröße: 160K
• Kontextlänge: 128K
• Attention-Mechanismus: MLA
• Aktivierungsfunktion: SwiGLU

3. Bewertungsergebnisse

Leistung des Instruction-Modells

• In verschiedenen Benchmarks für Coding-Aufgaben, Tool-Nutzung, Mathematik/MINT und allgemeine Aufgaben erzielt es Spitzenleistungen
• In SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME, MATH-500 und weiteren Benchmarks für Code/Tools, Mathematik/Logik und allgemeine Aufgaben zeigt es SOTA- oder klassenbeste Leistung
• In SWE-bench Verified erreicht es pass@1 von 65,8 % und in SWE-bench Multilingual 47,3 %; auch in agentischen Coding-Umgebungen zeigt es herausragende Ergebnisse
• Auch in MINT-Tests wie MATH-500 (Mathematik), AIME, HMMT und CNMO liefert es hervorragende Genauigkeit
• Bei allgemeinen Aufgaben wie MMLU (Allgemeinwissen) und SimpleQA erreicht es im Vergleich zu konkurrierenden Open-Source- und proprietären Modellen Top-Leistung

Leistung des Base-Modells

• In führenden Benchmarks wie MMLU, TriviaQA und GPQA-Diamond erzielt es unter vergleichbaren Open-Source-Modellen Spitzenwerte
• Gegenüber großen Open-Source-Basismodellen sichert es sich insgesamt Vorteile bei Coding, Mathematik und chinesischen Evaluierungen

4. Bereitstellung und Engine-Betrieb

• Unter https://platform.moonshot.ai ist die Kimi-K2-API (OpenAI-/Anthropic-kompatibel) verfügbar
• Auch auf Huggingface (https://huggingface.co/moonshotai/Kimi-K2-Instruct) werden Modell-Checkpoints (block-fp8) unterstützt
• Empfohlene Inference-Engines: vLLM, SGLang, KTransformers, TensorRT-LLM und weitere kompatible Umgebungen

5. Beispiele für die Modellnutzung

Chat-Interface

• Nach dem Start eines lokalen Inference-Service ist direkte Interaktion über OpenAI-kompatible Clients (z. B. Chat Completions API) möglich
• Empfohlene temperature: 0.6; auch der System-Prompt wird in der Standardform empfohlen

Tool-Calling-Funktion

• Kimi-K2-Instruct verfügt über starke Tool-Calling-Fähigkeiten
• Wenn Nutzende pro Anfrage eine Liste verfügbarer Tools übergeben, entscheidet das Modell autonom über den Einsatz und den Ausführungszeitpunkt
• Beispiele und Ergebnisnachrichten über die gesamte Pipeline hinweg können demonstriert werden
• Erforderlich ist die Unterstützung der Kimi-K2-Tool-Parsing-Logik durch die Engine

6. Lizenz

• Sowohl der Code als auch die Modellgewichte werden als Open Source unter der Modified MIT License veröffentlicht

[GN⁺]

Hacker-News-Kommentare

• Ich habe Kimi für ein paar Coding-Probleme ausprobiert, und es funktionierte ziemlich gut bei Aufgaben, bei denen Claude falsch lag oder sich im Kreis drehte. Das Modell ist allerdings riesig und daher kaum als „lokales“ Modell geeignet; ich denke, man bräuchte etwa 16 H200-GPUs, um es zu betreiben. Es fühlte sich auch etwas eigenständiger an als andere Modelle, was mir gefallen hat. Zumindest in einer Ensemble-Umgebung dürfte es nützlich sein.
  • Mit 4-Bit-Quantisierung erreicht man auch mit zwei 512-GB-Mac-Studio-Systemen (MLX-TB4-Ring-Ansatz, siehe diesen Link) oder einem Epyc-System mit mehr als 1 TB RAM praktikable Geschwindigkeiten. Für ungefähr 20.000 Dollar kann man also damit experimentieren. Wenn man aber echte produktionsreife Geschwindigkeit will, braucht man deutlich stärkere Hardware. Eher ein „persönliches Stampf-Modell“ als ein „lokales“ Modell.
  • Ich habe es ein paar Mal direkt mit Claude verglichen. Kimi erzeugte einfacheren und besser lesbaren Code, während Claude stark overengineert wirkte. Allerdings übersah Kimi auch einige subtile Edge Cases, die Claude berücksichtigt hatte.
  • Als du Claude sagtest: Sonnet? 3.7? 3.5? Opus? 4? Ich frage mich, welche Version gemeint ist.
  • Die erste Frage, die ich Kimi gestellt habe, wurde extrem falsch beantwortet; es war ein ziemlich einfaches mathematisches Knobelproblem. Fairerweise sind auch OpenAI-Modelle an dieser Frage gescheitert. Mit zusätzlichen Prompts wurde es etwas besser, aber es war trotzdem überraschend.
• Wie GPT-4o und die DeepSeek-V3-Familie ist auch dieses Modell (Kimi K2) ein sehr beeindruckendes General-Purpose-LLM, und es ist außerdem Open Source. Ich glaube, dass es derzeit weniger Aufmerksamkeit bekommt, weil sich die Frontlinie inzwischen in Richtung Reasoning- und multimodale Modelle verschoben hat. Wenn man sich die Genauigkeits-Benchmarks ansieht, sind die Top-Modelle alle auf Reasoning spezialisiert (Referenzlink). Falls jemand auf Basis von Kimi K2 ein auf Reasoning spezialisiertes Modell trainiert, wäre ich sehr gespannt auf dessen Leistung.
  • Mit „wenn jemand auf Basis von Kimi K2 ein auf Reasoning spezialisiertes Modell trainiert“ meinst du wahrscheinlich etwas, an dem MoonshotAI bereits arbeitet.
  • Ich frage mich, warum weder die aktuellen noch die früheren Modelle von Kimi bisher zu den Artificial-Analysis-Benchmarks hinzugefügt wurden.
• Neben den technischen Vorteilen beeindruckt mich bei Kimi K2 auch, dass es sich weniger robotisch anfühlt. Wie die Spitzenmodelle von Anthropic wirkt es fröhlich, klug und flüssig. Schon ein kleiner Sieg, keine steifen Bot-Antworten lesen zu müssen.
• Meiner Meinung nach wurde OpenAIs Veröffentlichung eines Open-Source-Modells verschoben, weil Kimi K2 die Aufmerksamkeit bereits auf sich gezogen und die Kennzahlen übertroffen hat.
  • Von OpenAI wurde auch erwähnt, dass es „zu groß ist, um es zu Hause selbst zu hosten“, also könnte das stimmen. Wahrscheinlich lässt man bei OpenAI gerade Benchmarks laufen und sucht nach Metriken, bei denen man „gewinnt“.
  • Nach Benchmark-Maßstäben schlägt Kimi K2 GPT-4.1 in mehreren Bereichen. Wenn OpenAI ernsthaft konkurrieren will, müsste es die GPT-4.1-Gewichte oder ein gleichwertiges Modell veröffentlichen, aber das ist wohl eher unwahrscheinlich.
• Es ist nicht Open Source, sondern eine „modifizierte MIT-Lizenz“. Für die Nutzung in kommerziellen Services mit 100 Millionen monatlich aktiven Nutzern oder 20 Millionen Dollar Monatsumsatz oder mehr gilt die Bedingung, dass „Kimi K2“ in der Service-UI klar angezeigt werden muss.
  • Diese Bedingung wirkt wie eine Kombination aus Llamas „Built with Llama“-Sichtbarkeitspflicht und der Klausel zu „700 Millionen monatlich aktiven Nutzern“, nur leicht als „modifiziertes MIT“ verpackt.
  • Ich würde nicht sagen, dass diese Bedingung gegen die OSD (Open Source Definition), die FSF-Definition freier Software oder die Debian-Kriterien verstößt. In GPLv2, GPLv3 und der BSD-4-Klausel gibt es ähnliche Veröffentlichungspflichten, nur eben nicht abhängig von Nutzerzahl oder Umsatz. Außerdem werden neuronale Netze nicht aus Quellcode gebaut, daher ist der Begriff „Open Source“ hier ohnehin etwas unscharf. Als Analogie zu echtem Open Source wäre es näherliegend, auch Trainingsdaten und Trainingsprozess offenzulegen, aber das kostet Millionen und ist auch nicht mit Kompilierung vergleichbar. Das ist also getrennt von der Lizenzfrage.
  • Ich frage mich, inwiefern diese Bedingung eine der vier Grundfreiheiten freier Software verletzt. Könnte das jemand konkret aufschlüsseln?
  • Das ist sogar weniger restriktiv als die Bedingungen von OpenStreetMap.
  • Diese Bedingung wurde offenbar hinzugefügt, damit Google nicht einfach eine „abgeleitete Version“ baut und daraus Gemini-3.0-pro macht.
• Für mich ist K2 ein Bergname und SOTA bedeutet „summits on the air“, deshalb hat mich die Überschrift überrascht.
  • Bei K2 denke ich zuerst an den Kotlin-2.0-Compiler, passender Bloglink
• Mir gefällt, dass ein neues, solides, nicht auf Reasoning spezialisiertes LLM die Frontier erweitert. Auch für solche Modelle gibt es weiterhin gute Anwendungsfälle, also Bereiche jenseits von STEM und Logikrätseln. Sie sind nützlich, wenn man kein Geld für Reasoning-Tokens ausgeben will.
• „Open Source“? In Wirklichkeit ist es Open Weight, wie immer ohne Datensätze, Trainingsskripte usw.
  • Im Moment ist es nicht einmal wirklich Open Weight. Auch auf die Gewichte gibt es die Bedingung der „modifizierten MIT-Lizenz“ (wie oben beschrieben).
  • Unter dem aktuellen Urheberrechtssystem ist es praktisch unmöglich, SOTA-Modelle ohne urheberrechtlich geschützte Texte zu trainieren. Ich frage mich, wie man so etwas überhaupt vertreiben kann.
• Mir gefallen die Antwortqualität und der Tonfall; im Vergleich zu ChatGPT oder DeepSeek ist es weniger höflich und etwas direkter. Allerdings scheint es häufiger als die aktuellen SOTA-Modelle, einschließlich DeepSeek, das Antwortformat durcheinanderzubringen oder Teile davon auszulassen.
• Heutzutage überstrapazieren alle AI-Modelle den Gedankenstrich (—). Ich habe ChatGPT gesagt, es solle keinen Gedankenstrich verwenden, und trotzdem macht es weiter. Weiß jemand, warum das so ist?
  • Als jemand, der Gedankenstriche gern verwendet, finde ich es schade, dass sie inzwischen als Symbol für die typische Schlampigkeit von LLMs wahrgenommen werden.