- Ein Produktionsmodell, das das im vergangenen Jahr vorgestellte Kimi Linear von 48B auf 2.8T skaliert; unter den derzeit öffentlich verfügbaren Weight-Modellen ist es das größte
- Das neu eingeführte LatentMoE komprimiert große lineare Schichten per Down-Projection und ersetzt in der Gesamtstruktur herkömmliches MoE und Attention durch auf Inferenz-Effizienz ausgerichtete Komponenten
- Attention Residuals verbinden Residuen zwischen Schichten mit auf Attention-Scores basierenden Gewichten und verbessern Validierungsverlust und Downstream-Performance konsistent leicht
- Durch Attention Residuals steigen die Trainingskosten um etwa 4 % und die Inferenzkosten um etwa 2 %; außerdem werden alle RoPE-Schichten entfernt und durchgängig NoPE angewendet
- Zusätzlich kommt native multimodale Unterstützung hinzu, womit die großskalige Erweiterung von Kimi Linear sowie Verbesserungen bei Inferenz-Effizienz und Residual-Pfaden gemeinsam angestrebt werden
Von Kimi Linear auf 2.8T skaliert
- Kimi K3 ist die Produktionsversion, die Kimi Linear von 48B auf 2.8T skaliert, und ist derzeit das größte Modell mit öffentlich verfügbaren Weights
- Das gegenüber Kimi Linear neu hinzugefügte LatentMoE entspricht im Wesentlichen dem Ansatz von Nemotron 3 Ultra
- Ähnlich wie bei Multi-Head Latent Attention werden große lineare Schichten per Down-Projection komprimiert
- Wie der Trend bei Nemotron 3 und DeepSeek V4 zeigt, liegt der Fokus auf verbesserter Inferenz-Effizienz
- Herkömmliches MoE wird durch LatentMoE ersetzt
- Anstelle normaler Attention werden Multi-Head Latent Attention und Kimi Delta Attention verwendet
Residual-Pfade und Positionsinformation
- Attention Residuals sind keine Komponente zur Effizienzoptimierung, sondern zur Verbesserung der Residual-Pfade; sie wurden bereits in Kimi Linear eingesetzt
- Anders als die mHCs (manifold-constrained Hyper-Connections) von DeepSeek V4, die den Residual-Pfad verbreitern, verbinden Attention Residuals Residuen zwischen Schichten
- Als Verbindungsgewichte werden Attention-Scores verwendet, die die Wichtigkeit bzw. den Beitrag jedes Residuals darstellen
- Laut technischem Bericht verbessern sich Validierungsverlust und Downstream-Performance konsistent leicht, allerdings steigen die Trainingskosten um etwa 4 % und die Inferenzkosten um etwa 2 %
- Alle RoPE-Schichten werden entfernt und NoPE, also kein Position Embedding, durchgängig auf alle Schichten angewendet
- Bei anderen neueren Architekturen gab es die Tendenz, RoPE für lokale Attention wie Sliding Window Attention und NoPE für globale Schichten zu verwenden
- Es gab bereits frühere Architekturen, die nur NoPE nutzten, aber Kimi K3 ist nach heutigem Kenntnisstand das erste Frontier-Modell, das dies durchgängig anwendet
Native multimodale Unterstützung
- Zu Kimi K3 kommt auch native multimodale Unterstützung hinzu
1 Kommentare
Meinungen auf Hacker News
Anders als Leiter westlicher Forschungslabore, die Kimi als bloßes Produkt eines Distillation-Angriffs darstellen, führt es tatsächlich neue und eigenständige Ansätze ein.
Sebastian Raschka ist ein hervorragender Forscher und Autor im Bereich großer Sprachmodelle; sein Substack ist sehr zu empfehlen.
„Interessanterweise entfernt Kimi K3 alle RoPE-Schichten und verwendet stattdessen überall NoPE (No Positional Embeddings).“
Dass das überhaupt funktioniert, ist erstaunlich. Ohne Positionsinformation müsste es doch zu einer Token-Suppe werden; ich frage mich, ob Attention präzise genug ist, damit das zweite Token allein dadurch, dass es lernt, im Embedding-Raum etwas zu akkumulieren, erkennen kann, dass es das zweite ist.
Die Intuition der Akkumulation passt ebenfalls. Wenn einige Attention-Heads fortlaufend Werte in denselben Bereich des Residual Streams schreiben, akkumulieren sich diese Werte durch die Attention-Summation mit zunehmender Zahl von Eingabetokens und können so auch ohne separates Positions-Encoding als eine Art Index dienen.
Interessant ist, dass überall NoPE verwendet wird. Andere Modelle behalten meist RoPE in lokalen Schichten bei; hier scheinen lineare Attention-Schichten wie Kimi Delta die Positionsverarbeitung stillschweigend übernommen zu haben, sodass man darauf verzichten konnte. Ich frage mich, ob das auch auf State-of-the-Art-Skala Bestand hat.
Weil es einem RNN ähnelt, erkennt es in XYZ inhärent die Reihenfolge von X, Y und Z. Ein grundlegender Transformer verarbeitet eine ungeordnete Menge, daher muss man ihm die Positionen zwischen den Elementen separat mitteilen.
Da es pro Attention-Schicht drei KDA-Schichten gibt und außerdem drei vor der ersten Attention-Schicht, kann jedes Token seine Positionsinformation lernen, bevor es die erste echte Attention-Schicht erreicht.
RoPE beschädigt einen Teil der Information, daher ist es vorteilhaft, wenn man darauf verzichten kann. Gemma-4 hat eine ähnliche 5:1-Struktur mit fünf Sliding-Window-Attention(SWA)-Schichten pro globaler Attention-Schicht. SWA ist günstig und weniger leistungsfähig, verarbeitet aber lokale Informationen und füllt die Lücken zwischen starken globalen Schichten; in diesem Modell übernimmt KDA dieselbe Rolle.
In Gemma benötigt nur SWA, also echte Attention, RoPE; bei globaler Attention wird es weggelassen. KDA ist keine Attention und braucht daher keine Positions-Embeddings.
Ich weiß nicht, wie viel größer die Skala noch sein müsste, um als State of the Art zu gelten, aber es gibt keinen Grund, warum es in größerem Maßstab nicht funktionieren sollte. Mit mehr Parametern wird es für KDA-Schichten eher leichter, Positionsinformationen weiterzugeben.