Kimi Linear: Eine Attention-Architektur mit höherer Ausdruckskraft und Effizienz (2025)

• Kimi Linear ist eine Hybridstruktur mit einem 3:1-Verhältnis aus KDA und MLA und erzielte unter identischen Trainingsbedingungen durchweg bessere Ergebnisse als durchgängiges MLA bei Kurz- und Langkontext sowie in Evaluierungen zum Reinforcement Learning
• Das Kernmodul Kimi Delta Attention (KDA) verfeinert das kopfweise Forget-Gate von Gated DeltaNet auf Kanalebene, sodass jede Merkmalsdimension des endlichen RNN-Speichers eine eigene Vergessensrate erhält
• Mit einer speziellen **Diagonal-Plus-Low-Rank-(DPLR)-**Übergangsmatrix und einem chunkbasierten Parallelalgorithmus wurde der Rechenaufwand gegenüber allgemeinem DPLR reduziert; die Operator-Effizienz stieg um etwa 100 %
• Ein Modell mit 3B aktiven und 48B gesamten Parametern, trainiert auf 1.4T Tokens, erreichte 51.0 Punkte auf MMLU-Pro 4K sowie 84.3 Punkte und eine 3.98-fache Beschleunigung auf RULER 128K; bei 1M Tokens ist die Zeit pro Ausgabetoken 6.3-mal kürzer als bei MLA
• Bei der Generierung langer Texte kann der KV-Cache um bis zu 75 % reduziert werden, ohne Cache- oder Scheduling-Schnittstellen bestehender Full-Attention-Pipelines zu ändern; KDA-Kernel, vLLM-Implementierung und Modell-Checkpoints wurden ebenfalls veröffentlicht

---

Der Flaschenhals von Full Attention bei langem Reasoning

• Agentische LLMs und testzeitliche Skalierung auf Basis von Reinforcement Learning müssen während des Reasonings lange Trajektorien, Tool-Interaktionen und komplexe Entscheidungsräume verarbeiten
• Standard-Softmax-Attention hat eine quadratisch steigende Zeitkomplexität, und der KV-Cache wächst proportional zur Kontextlänge, was Durchsatz, Kontextskalierung und Echtzeitinteraktion einschränkt
• Lineare Attention kann die Rechenkomplexität senken, war aber in ihrer Ausdruckskraft begrenzt und blieb selbst beim Sprachmodellieren kurzer Sequenzen hinter Softmax-Attention zurück
• Neuere Gating- und Dämpfungsmechanismen sowie die Delta-Regel (delta rule) haben die Qualitätslücke bei Sequenzen mittlerer Länge verkleinert, doch rein lineare Strukturen stoßen wegen ihrer endlichen Zustandskapazität bei der Modellierung langer Sequenzen und beim Retrieval im Kontext an Grenzen
• Hybridstrukturen, die einige globale Attention-Schichten mit vielen linearen Schichten kombinieren, sind als Kompromiss zwischen Qualität und Effizienz aufgekommen, doch bisherige Modelle waren entweder klein skaliert oder unzureichend über verschiedene Benchmarks evaluiert

Von linearer Attention zu Gated DeltaNet

• Grundlegende lineare Attention akkumuliert fortlaufend Key-Value-Assoziationen in einem rekurrenten Zustand in Matrixform und nutzt diesen als temporären assoziativen Speicher, also als Fast Weights
  • Ohne Kriterium dafür, welche Erinnerungen gelöscht werden sollen, akkumuliert der Zustand unbegrenzt, was bei langen Kontexten zu Interferenzen führt
• DeltaNet führt Online-Gradientenabstieg auf den Rekonstruktionsverlust aus, sodass der Zustand Keys wieder in Values rekonstruieren kann
  • Dabei wird die klassische Delta-Regel genutzt, die den bestehenden Zustand fortlaufend korrigiert
  • Rank-1-Updates sind äquivalent zu verallgemeinerten Householder-Transformationen und lassen sich chunkweise parallelisieren
• Gated DeltaNet (GDN) ergänzt ein skalares Forget-Gate αt, das ältere Assoziationen dämpft
  • Das Gate wirkt wie Weight Decay auf die Fast Weights und realisiert einen Vergessensmechanismus ähnlich datenabhängiger L2-Regularisierung
  • Es steuert die Lebensdauer des Speichers, reduziert Interferenzen und bewahrt zugleich die Parallelisierungsstruktur von DeltaNet
• GDN kann als multiplikative Positionskodierung interpretiert werden, bei der die Übergangsmatrix datenabhängig und lernbar ist und damit die Orthogonalitätsbeschränkung von RoPE lockert

Feingranulare Speicherkontrolle mit Kimi Delta Attention

• KDA ersetzt die einzelne skalare Dämpfung von GDN durch diagonal aufgebaute Gates auf Kanalebene und steuert so für jede Merkmalsdimension Speicherdämpfung und Positionsinformation unabhängig
• Kanalweise Vergessensraten ermöglichen eine präzisere Steuerung des begrenzten endlichen RNN-Speichers und bieten eine ähnliche Granularität wie Gated Linear Attention (GLA)
• Die Übergangsdynamik wird über eine spezielle DPLR-Matrix parametrisiert und bleibt mit der klassischen Delta-Regel konsistent
• Eine Folge von Rank-1-Matrixtransformationen wird in eine dichte Darstellung komprimiert und unterstützt dadurch stabile chunkweise Parallelverarbeitung auch unter diagonaler Gating-Struktur

Chunkbasierter Parallelalgorithmus

• Die Sequenz wird in Chunks fester Länge aufgeteilt, wobei der Endzustand des vorherigen Chunks als Anfangszustand des nächsten dient
• Mit der WY-Darstellung werden mehrere Rank-1-Updates in einer kompakten Repräsentation gebündelt; nach dem Comba-Schema sind in den Folgerechnungen keine zusätzlichen Matrixinversionen nötig
• Die UT-Transformation reduziert die FLOPs von Operationen, die keine Matrixmultiplikationen sind, und erhöht so die Hardware-Auslastung im Training
  • Die Inverse einer unteren Dreiecksmatrix wird zeilenweise per Vorwärtseinsetzen aus der Gauß-Elimination berechnet
• Zustandsupdates erfolgen in Matrixform pro Chunk; in der Ausgabestufe werden rekurrente Verarbeitung zwischen Chunks und parallele Verarbeitung innerhalb eines Chunks kombiniert
• Die Berechnung innerhalb der Chunks ist auf Matrixmultiplikationen ausgerichtet, um den Durchsatz von Tensor Cores zu nutzen

Weniger Rechenaufwand als allgemeines DPLR

• Sowohl KDA als auch verallgemeinertes DPLR unterstützen feingranulare Dämpfung und sind damit hinsichtlich der Ausdruckskapazität vergleichbar
• Feingranulare Dämpfung kann bei den Divisionen innerhalb der Chunks numerische Präzisionsprobleme verursachen
  • GLA verwendet Berechnungen im Log-Bereich und sekundäres Chunking in voller Präzision, was die Nutzung von Matrixmultiplikationen in halber Präzision einschränkt und den Operator verlangsamt
• KDA bindet beide Variablen des DPLR-Übergangs an den Key k
  • Dadurch sinkt die Zahl der Matrixberechnungen im sekundären Chunking von 4 auf 2
  • Außerdem entfallen 3 zusätzliche Matrixmultiplikationen
• Bei Kernel-Messungen über verschiedene Eingabelängen hinweg zeigt KDA eine um etwa 100 % höhere Operator-Effizienz als allgemeines DPLR

Aufbau des Kimi-Linear-Modells

• Das Modell-Backbone folgt Moonlight und platziert nach der Token-Mixing-Schicht eine MoE-Channel-Mixing-Schicht
• Queries, Keys und Values jedes KDA-Kopfs werden über ShortConv und Swish berechnet
  • Für Queries und Keys kommt zur Stabilisierung der Eigenwerte eine L2-Normalisierung hinzu
  • Die Head-Dimension von Keys und Values ist in allen Experimenten auf 128 gesetzt
• Das kanalweise Dämpfungsgate wird über eine Low-Rank-Projektion mit demselben Rang wie die Head-Dimension parametrisiert und verwendet eine Dämpfungsfunktion ähnlich wie bei GDN und Mamba
• Vor der Output-Projektion werden kopfweises RMSNorm und ein datenabhängiges Output-Gate angewandt
  • Auch das Output-Gate ist als Low-Rank-Konstruktion ausgeführt, um bei fairem Parametervergleich eine ähnliche Leistung wie ein vollrangiges Gate zu halten
  • Dieses Gate mildert den Attention Sink

3:1-Hybrid aus KDA und MLA

• Um die Grenzen rein linearer Attention beim Retrieval über lange Kontexte auszugleichen, werden zwischen KDA-Schichten Full MLA-Schichten als vollständige globale Attention eingefügt
• Statt Köpfe innerhalb einer einzelnen Schicht zu mischen, werden ganze Schichten abwechselnd angeordnet
  • Die Konfiguration auf Schichtebene vereinfacht die Infrastruktur und erhöht die Trainingsstabilität
• In den Experimenten bot das Verhältnis 3:1, also drei KDA-Schichten gefolgt von einer MLA-Schicht, die beste Balance zwischen Qualität und Durchsatz
• Bei langer Textgenerierung halten nur die Full-Attention-Schichten den KV-Cache vor; so lassen sich Speicher- und KV-Cache-Nutzung um bis zu 75 % senken, während der globale Informationsfluss erhalten bleibt

Einsatz von NoPE und Evaluationsergebnisse

• In allen MLA-Schichten wird NoPE eingesetzt, also ohne Positionskodierung; Positionsinformation und Aktualitätsbias werden von KDA übernommen
• KDA übernimmt eine ähnlich starke oder stärkere Rolle als ergänzende positionssensitive Komponenten wie kurze Convolutions oder Sliding-Window-Attention
• Mit NoPE lässt sich MLA bei der Inferenz in effiziente reine Multi-Query Attention (MQA) umwandeln
• Frequenzbasierte Anpassungen von RoPE oder Verfahren wie YaRN werden dadurch überflüssig, was das Lernen langer Kontexte vereinfacht
• Im Vergleich unter denselben Bedingungen mit 1.4T Trainings-Tokens erzielte Kimi Linear folgende Resultate
  • 51.0 Punkte auf MMLU-Pro 4K und damit vor MLA mit 47.2 sowie GDN-H mit 47.9
  • 84.3 Punkte auf RULER 128K bei 3.98-facher Beschleunigung und damit vor MLA mit 81.3 sowie GDN-H mit 80.5
  • Bei 1M Tokens lag die Zeit pro Ausgabetoken (TPOT) bei 1.84 ms und war damit 6.3-mal schneller als MLA mit 11.48 ms
  • Auch bei langen Sequenzen bleibt der TPOT niedrig, sodass größere Batches möglich sind
• Das vortrainierte Modell hat 3B aktive und 48B gesamte Parameter und liegt bei Kurzkontext, Langkontext und RL-artigen Post-Training-Aufgaben konsistent vor Full MLA
• Veröffentlicht wurden der KDA-Kernel, die vLLM-Integration und der Kimi-Linear-48B-A3B-Instruct-Checkpoint
  • Er kann bestehende Full-Attention-Pipelines ersetzen, ohne deren Cache- oder Scheduling-Schnittstellen zu ändern

[GN⁺]

Hacker-News-Kommentare

• Im kürzlich veröffentlichten Kimi-K3-Paper sieht man, dass die hier behandelte Kimi-Linear-Architektur im großen Maßstab ausgebaut und um native Vision sowie Verbesserungen beim Reinforcement Learning ergänzt wurde
  https://arxiv.org/abs/2607.24653

• Ich frage mich, ob die bei Modellen auf dem neuesten Stand sichtbare Intelligenz wirklich ein emergentes Phänomen ist, das nur beim Skalieren der Architektur auftritt
  Dass ein Modell mit 1 Million Parametern mit derselben Struktur nicht einmal einfache Rätsel lösen kann, während ein Modell mit 1 Billion Parametern sogar Gegenbeispiele zur Jacobi-Vermutung erzeugt, wirkt kontraintuitiv. Einer einfachen Sortiermethode gewinnt man auch nicht dadurch gegen Quicksort, dass man ihr mehr Rechenoperationen gibt; die heutige LLM-Forschung wirkt wie ein Wettlauf, bei dem dieselben Algorithmen und Strukturen immer weiter vergrößert werden, in der Hoffnung, dass die Lösung auftaucht

  • Das ist in Machine Learning als The Bitter Lesson gut bekannt. Man muss die Kraft allgemeiner Methoden verstehen, die auch bei massiv steigender Rechenleistung weiter skalieren; dabei geht es um Suche und Lernen
    Der kurze Originaltext ist ebenfalls lesenswert: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
  • Ich habe dieses Feld inzwischen verlassen, und mein Hintergrund liegt eher im Reinforcement Learning als bei LLMs, aber letztlich denke ich, dass Bedeutung und Intelligenz in internen Repräsentationen liegen. Kleineren Modellen fehlt womöglich die Kapazität, die interne Zuordnung zwischen Eingabe, Bedeutung und Ausgabe von Grund auf zu lernen, oder sie benötigen dafür, selbst wenn es theoretisch wie bei einer einfachen Sortierung möglich ist, praktisch untragbar viel Zeit
    Größere Modelle finden in diesem Raum interner Repräsentationen leichter einen Ansatzpunkt, und nach erfolgter Optimierung könnte ein Großteil der Gewichte kaum noch etwas tun. Wie viel Ausdruckskraft nötig ist, um diesen Raum zu lernen, ist noch unklar, aber bislang scheinen Milliarden von Parametern nötig zu sein
    Die interessantere Frage ist, wie invariant das Modell gegenüber den Daten sein muss. Ich denke, dass mathematisches Schließen und Programmieren die Gesamtleistung deshalb stark verbessert haben, weil sie wiederholbare Fähigkeiten über eine breite Klasse von Aufgaben hinweg sind. Es könnte ein Weg zu kleineren Modellen sein, gezielt Programmierlogik zu trainieren, die nicht an Sprache oder Aufgabe gebunden ist
  • Modellskalierung ist eine der konsistentesten und verlässlichsten Methoden, um Intelligenz zu steigern. KI-Training ist ein Prozess, bei dem mithilfe von Algorithmen andere Algorithmen rechnerisch gesucht und verfeinert werden; mit größerem Maßstab steigen die Ressourcen, um bessere, zum Ziel passende Algorithmen zu finden
    Bildlich gesprochen bleiben kleine Modelle wegen Kapazitäts- und Lernsignalgrenzen intern auf dem Niveau von Bubble Sort, während große Modelle tiefer suchen und einen Ansatz näher an Quicksort finden können
    Intelligenz ist nicht binär, und sowohl Modelle mit 1 Milliarde als auch mit 10 Billionen Parametern besitzen ein gewisses Maß an Intelligenz. Ersteres stützt sich nur zu stark auf statistische Regelmäßigkeiten und ist daher leicht abzutun, während Letzteres sich lediglich so weit entwickelt hat, dass es neue Gegenbeispiele zu ungelösten Vermutungen finden kann. Auch dazwischen ähnelt es eher einer Lawine aus vielen kleinen Verbesserungen als einem plötzlichen Sprung
    Spezifische Leistungen wie mathematische Fähigkeiten wirken zwar sprunghaft, darunter bauen sich aber schrittweise allgemeine Fähigkeiten auf, Fehler zu vermeiden und sich von Fehlern zu erholen. Sobald diese Fähigkeiten gut genug sind, beginnt das Modell auch völlig neue Arten logischer Probleme zu lösen
  • Aus Sicht der Deep-Learning-Theorie kommt Intelligenz vor allem durch Skalierung; wenn eine gut entworfene Kombination aus Modell und Optimierer eine starke implizite Präferenz für Einfachheit hat, kann die Leistung mit wachsender Modellgröße weiter steigen
    Das Labor von Marcus Hutter hat dies mit Solomonoff-Induktion beschrieben und gezeigt, dass diese Präferenz universell wirksam ist. Eine effektive Präferenz kann den Fluch der Dimensionalität gewissermaßen umkehren, sodass sich die Leistung bei großen Modellen weiter verbessert, ähnlich wie man mit mehr Daten bessere Antworten bekommt
    Allerdings ist die Klasse von Modellen, die diese Eigenschaften zeigt, extrem eng, und es fühlt sich eher so an, als hätte man zufällig genau diesen Punkt getroffen. Das ist auch der Grund, warum allgemeine statistische Prinzipien weiterhin lehren, ein solches Verhalten im Allgemeinen eher nicht zu erwarten
  • Was Menschen als grundlegende Probleme und sehr schwierige Probleme unterscheiden, könnte auf absoluter Skala sehr nah beieinanderliegen. Der Unterschied liegt vor allem im Anteil der Menschen, die das Problem lösen können, und selbst die Untergrenze menschlicher Fähigkeiten ist ziemlich hoch. Tiere, die für die meisten Menschen grundlegende Probleme lösen können, sind selten, können aber komplexes Verhalten zeigen und lernen, und auch ihre Zahl an Neuronen unterscheidet sich nicht absurd stark von der des Menschen
    Der Sprung von 1 Million auf 1 Billion Parameter ist eine Millionenfache Skalierung. Das ist ähnlich, als würde man ein menschliches Gehirn in jeder Dimension auf 1 % verkleinern, also auf wenige Millimeter

• Ich habe begonnen, mit Kimi Linear interne Modelle zu bauen, aber das später erschienene Gated Deltanet 2 wirkte hinsichtlich der Ausdruckskraft wie eine weiterentwickelte Form und war in unseren eigenen Tests tatsächlich besser
  https://arxiv.org/abs/2605.22791

  • Beim Lesen fühlt es sich an wie eine Neuimplementierung von LSTM

• Es ist großartig, dass sie für die Forschung den KDA-Kernel und die vLLM-Implementierung Open Source veröffentlicht und sogar Checkpoints für vortrainierte und instruction-getunte Modelle bereitgestellt haben

  • Das Repository scheint dieses zu sein: https://github.com/MoonshotAI/Kimi-Linear

• Wenn man Kimis Erfolg nur als Distillation-Angriff verstehen will, kann man diese Forschung ignorieren

  • Es wäre schön, wenn man aufhören würde, das überhaupt einen Distillation-Angriff zu nennen
  • Dass chinesische Forschungslabore beeindruckende Innovationen hervorbringen und möglicherweise zugleich von Distillation profitiert haben, ist vereinbar. Wie viel jede Seite beigetragen hat, weiß ich nicht, aber zu behaupten, nur eines von beidem könne wahr sein, ist ein falsches Dilemma
  • Distillation zu kritisieren klingt so, als würde ein Kasino Kartenzählen kritisieren
  • Ich wünsche mir, dass die USA den KI-Wettbewerb gewinnen, aber ich finde schwer nachvollziehbar, warum die meisten Erfindungen von heute nicht ebenfalls eine Destillation früheren Wissens sein sollen. Ich frage mich, ob Anthropic behauptet, die von ihnen eingebrachten Daten seien Geschäftsgeheimnisse
  • Modelle auf dem neuesten Stand entstehen nicht aus nur einem Faktor. Das hier ist lediglich eine inkrementelle Verbesserung und erklärt nicht den gesamten Modellerfolg; unabhängig von der Haltung zu Distillation ist der Trainingsdatensatz enorm wichtig

• Mich würde interessieren, wie die Long-Context-Retrieval-Leistung im Vergleich zu einem Full-Attention-Modell gleicher Größe ausfällt, besonders bei Needle-in-a-Haystack oder RULER. Effizienzgewinne sind großartig, aber lineare Attention-Hybridmodelle brechen dort meist ein

• Ich frage mich, ob Firmen wie Etched Probleme bekommen, wenn sich solche nicht standardmäßigen Transformer breit durchsetzen

• Dieses Paper ist Material aus 2025, inzwischen sind schon 9 Monate vergangen, und in der Zwischenzeit wurden wichtige Modelle neu veröffentlicht

  • Für K3 liest man besser dieses Paper: https://arxiv.org/abs/2607.24653
    Der zentrale Beitrag des K3-Papers ist Stable LatentMoE. Es komprimiert wie einige andere Modelle die zwischen Schichten weitergereichten Daten, weshalb an den Router bestimmte Bedingungen gestellt werden; K3 verbessert die Leistung mit einer ausgewogeneren Strategie zur Expertenauswahl
  • Damals wurde es nicht ausreichend diskutiert: https://news.ycombinator.com/item?id=45766937
  • Es sieht so aus, als hätten sie das mit 69 KDA-Schichten und 24 Gated-MLA-Schichten im neuen Kimi K3 erneut hochgeladen. Soweit ich weiß, nutzten frühere große Kimi-Modelle nur MLA-Schichten