Für Großunternehmen, die monatlich Millionen Dollar für Inferenz ausgeben, kann es sich lohnen, ein GB300-Rack für etwa 6 Millionen Dollar direkt zu kaufen.
Von den 20,7 TB Speicher werden weniger als 10 % benötigt, um das gesamte MXFP4-Modell zu laden, und die gesamte HBM-Bandbreite beträgt 576 TB/s. Damit lassen sich mehr als 6.000 Agentenaufgaben mit durchschnittlich 100.000 Token Kontext parallel mit etwa 30 Token/s ausführen.
Setzt man jährliche Abschreibung und Stromkosten mit 1,5 Millionen Dollar und die durchschnittliche Auslastung mit 50 % an, landet man bei unter 0,6 Dollar pro 1 Million Output-Token; die Daten bleiben zudem intern, und es wird mehr als 10-mal günstiger als ein Hosting-Dienst.
Für Unternehmen, die daran glauben, dass Modelle mit offenen Gewichten weiter vorankommen und AI Bestand hat, gibt es damit erstmals eine klare Grundlage für die Entscheidung, ein Rack direkt zu kaufen.
Auf einem 107.000-Dollar-Server läuft Kimi 2.8 und verarbeitet bei den meisten Aufgaben etwa mehr als 50.000 Token pro Sekunde.
Das spart bereits mehr ein als die Token-Kosten, die im vergangenen Jahr für Claude und Gemini angefallen sind.
Stellt man 2–3 DevOps-Leute für den Betrieb ein, kommen 400.000 bis 700.000 Dollar hinzu, und Ausfälle sowie Wartung liegen vollständig in der Verantwortung des Unternehmens.
Trotzdem vertraut man gehosteten LLMs bei Daten, die vertraulich bleiben müssen, nicht.
Es braucht außerdem Raum mit Flüssigkühlung und ultrahochdichter Stromversorgung, was mit üblichen Colocation-Einrichtungen oder internen Serverräumen kaum zu stemmen ist.
Ein Unternehmen, das sich ein 6-Millionen-Dollar-Rack und die Infrastruktur leisten kann, muss auch die kommerziellen Lizenzbedingungen berücksichtigen, die gelten dürften; die Rechnung ist also nicht einfach.
Vielmehr sah man es als Verlangsamung des Fortschritts.
Der Grund: Andere Labore können aufholen, indem sie die Modelle der führenden Labore distillieren, und nehmen diesen Laboren damit einen Teil der Einnahmen weg, die sie in die nächste Generation reinvestieren könnten.
Wer vollständige Beschleunigung wolle, müsse die beiden großen Labore verstaatlichen und sie wie beim Manhattan Project abschotten, bis rekursive Selbstverbesserung (RSI) erreicht sei; die Gegenargumente in den Antworten haben diese Sichtweise jedoch deutlich verändert.
Die Lizenz von Kimi-K3 ist unter https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE einsehbar. Model-as-a-Service-Anbieter, deren konzernweiter Umsatz über einen zusammenhängenden Zeitraum von 12 Monaten 20 Millionen Dollar übersteigt, müssen vor der kommerziellen Nutzung eine gesonderte Vereinbarung mit Moonshot AI schließen.
Die bisherigen Bedingungen enthalten außerdem eine Klausel, nach der der Name Kimi angegeben werden muss, wenn es mindestens 100 Millionen monatlich aktive Nutzer gibt oder der Umsatz eines kommerziellen Produkts 20 Millionen Dollar übersteigt.
Fraglich ist zunächst, worauf diese Lizenz überhaupt Anwendung findet.
Unklar ist auch, ob an Modellgewichten Urheberrecht entstehen kann.
In den USA ist die Auslegung möglich, dass die Gewichte von Machine-Learning-Modellen als Erzeugnisse automatischer Optimierungsverfahren wie stochastischem Gradientenabstieg, Expectation-Maximization oder genetischen Algorithmen nicht urheberrechtlich schutzfähig sind.
Das ist vor Gericht noch nicht vollständig geklärt, und die Prozesskosten wären hoch, weshalb Arbeitgeber in der Regel auf Nummer sicher gehen und Lizenzen einhalten wollen.
Thaler v. Perlmutter bestätigte, dass das Urheberrecht einen menschlichen Urheber voraussetzt; auch die Richtlinien des US Copyright Office stellen klar, dass Werke, die eine Maschine ohne menschlichen kreativen Eingriff automatisch erzeugt, nicht registriert werden können.
Die folgenden Bestimmungen schließen außerdem mathematische Prinzipien, Formeln, Algorithmen und Gleichungen vom Urheberrechtsschutz aus; betrachtet man ein Modell als Algorithmus, ist die Schlussfolgerung relativ klar.
[1] https://media.cadc.uscourts.gov/opinions/docs/2025/03/23-523...
[2] https://www.copyright.gov/comp3/chap300/ch300-copyrightable-...
Dass man es herunterladen kann, ist besser, aber unter diesen Bedingungen lässt es sich kaum als wirklich offene Gewichte oder Open Source bezeichnen, was schade ist.
Fraglich ist auch, wie man Lizenzverletzer aufspüren und zum Ziel von Klagen machen will.
Interessant ist der Ansatz eines selbst-evolutionären hierarchischen Wissensgraphen, bei dem Agenten wissensintensive Bereiche und Coding-Felder im Webmaßstab erkunden und kontinuierlich erweitern.
Dass die Aktivierungsfunktion wieder zu tanh zurückkehrt, wirkt, als würden sich technische Moden im Kreis drehen.
Laut Seite 6 des Papers wird tanh nicht einfach unverändert verwendet, sondern f_gate(b,x) = b * tanh(x / b) * sigmoid(x) und f_up(b,x) = b * tanh(x / b).
Im Diagramm sieht es nach einem Design aus, das zugleich die Vorteile von GLU bei x-Werten größer als etwa 5 und die Vorteile von SwiGLU mit dem Anstieg kurz vor 0 mitnehmen soll.
Auf Wissensgraphen basierende Aufgabensynthese passt gut zu dem alten Problem, wie man verschiedenste Aufgaben möglichst vollständig abdeckt.
Das könnte auch zu theoretischer Forschung über die Geschwindigkeit führen, mit der neues Wissen entsteht, sowie über menschliche und maschinelle Arten seiner Erzeugung.
Ich frage mich, was derzeit am besten geeignet ist, wenn man für eigene Agenten-Aufgaben feinabstimmen will: LoRA+DPO oder GRPO
Zunächst dürfte LoRA+SFT passen, aber wegen der Modellgröße werden die Kosten erheblich sein
Es dürfte besser sein, auf die Fine-Tuning-API des Anbieters zu warten; es scheint nicht nötig, von Anfang an zu Reinforcement Learning oder DPO als off-policy-ähnlichem Reinforcement Learning zu greifen
Ich frage mich, was bei Multi-Teacher-On-Policy-Distillation die Teacher-Modelle sind
Für verifizierbare Bereiche wie Mathematik und Coding ist das nachvollziehbar, aber da sogar Biologie enthalten ist, frage ich mich, ob hier aus einem größeren Modell destilliert wird
Es wird https://thinkingmachines.ai/blog/on-policy-distillation/ zitiert
Ich verstehe es als eine Destillationsmethode per Reinforcement Learning, bei der das Teacher-Modell jedes Token des Student-Modells, das ein Problem löst, in jedem Schritt anhand der Generierungswahrscheinlichkeit bewertet und dies als Reward oder Loss verwendet
Multi-Teacher scheint zu bedeuten, dass aus mehreren Modellen destilliert wird; dabei könnten auch nicht öffentliche State-of-the-Art-Modelle enthalten sein
Allerdings braucht man Log-Wahrscheinlichkeiten: Die OpenAI API erlaubt das, Anthropic stellt sie hingegen nicht bereit; eventuell gibt es Methoden, sie extern zu schätzen
Diese Methode lässt sich auf jedes Fachgebiet anwenden, das der Teacher kennt, einschließlich Biologie
Mit Teachern sind andere Modelle gemeint
Ich frage mich, ob der Grund dafür, dass die Inference-Preise mehrerer Anbieter alle gleich sind, in Lizenzvereinbarungen mit Moonshot liegt
Ich frage mich, was nötig wäre, um ein offenes Modell aus den USA zu bauen, das mit Kimi konkurriert
Das jüngste große öffentliche Modell eines großen US-Labors scheint GPT-OSS-120b aus dem Sommer 2025 zu sein, also vor etwa einem Jahr
Freiwillig dürfte so etwas schwer kommen; vermutlich müsste man auf irgendeine Weise Druck zur Veröffentlichung ausüben
Ich hatte zuletzt gehofft, dass Gemma mindestens in der 100B-Klasse erscheint, aber Google scheint Modelle dieser Größenordnung nur intern zu halten
MSL oder SpaceXAI scheinen mit höherer Wahrscheinlichkeit eines ihrer nächsten großen Modelle als Open Source zu veröffentlichen
Beide sind Open Source gegenüber positiv eingestellt und würden um den Platz eines amerikanischen Kimi konkurrieren
Wenn die gängige Vorstellung stimmt, dass China Modelle einfach destilliert und sie in zwei Wochen repliziert, müssten die USA ebenfalls innerhalb von zwei Wochen ein repliziertes Modell veröffentlichen können
Inkling liegt ebenfalls ungefähr in einem konkurrenzfähigen Bereich
1 Kommentare
Meinungen auf Hacker News
Für Großunternehmen, die monatlich Millionen Dollar für Inferenz ausgeben, kann es sich lohnen, ein GB300-Rack für etwa 6 Millionen Dollar direkt zu kaufen.
Von den 20,7 TB Speicher werden weniger als 10 % benötigt, um das gesamte MXFP4-Modell zu laden, und die gesamte HBM-Bandbreite beträgt 576 TB/s. Damit lassen sich mehr als 6.000 Agentenaufgaben mit durchschnittlich 100.000 Token Kontext parallel mit etwa 30 Token/s ausführen.
Setzt man jährliche Abschreibung und Stromkosten mit 1,5 Millionen Dollar und die durchschnittliche Auslastung mit 50 % an, landet man bei unter 0,6 Dollar pro 1 Million Output-Token; die Daten bleiben zudem intern, und es wird mehr als 10-mal günstiger als ein Hosting-Dienst.
Für Unternehmen, die daran glauben, dass Modelle mit offenen Gewichten weiter vorankommen und AI Bestand hat, gibt es damit erstmals eine klare Grundlage für die Entscheidung, ein Rack direkt zu kaufen.
Das spart bereits mehr ein als die Token-Kosten, die im vergangenen Jahr für Claude und Gemini angefallen sind.
Trotzdem vertraut man gehosteten LLMs bei Daten, die vertraulich bleiben müssen, nicht.
Zusammen mit dem Modell wurden auch mehrere Open-Source-Infrastrukturprojekte veröffentlicht.
https://github.com/MoonshotAI/MoonEP
https://github.com/kvcache-ai/AgentEnv
https://github.com/MoonshotAI/FlashKDA
Es ist schwer nachvollziehbar, offene Quellen und Modelle mit offenen Gewichten als etwas zu betrachten, das den Fortschritt in der AI bremst.
Der Grund: Andere Labore können aufholen, indem sie die Modelle der führenden Labore distillieren, und nehmen diesen Laboren damit einen Teil der Einnahmen weg, die sie in die nächste Generation reinvestieren könnten.
Wer vollständige Beschleunigung wolle, müsse die beiden großen Labore verstaatlichen und sie wie beim Manhattan Project abschotten, bis rekursive Selbstverbesserung (RSI) erreicht sei; die Gegenargumente in den Antworten haben diese Sichtweise jedoch deutlich verändert.
Die Lizenz von Kimi-K3 ist unter https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE einsehbar.
Model-as-a-Service-Anbieter, deren konzernweiter Umsatz über einen zusammenhängenden Zeitraum von 12 Monaten 20 Millionen Dollar übersteigt, müssen vor der kommerziellen Nutzung eine gesonderte Vereinbarung mit Moonshot AI schließen.
Die bisherigen Bedingungen enthalten außerdem eine Klausel, nach der der Name Kimi angegeben werden muss, wenn es mindestens 100 Millionen monatlich aktive Nutzer gibt oder der Umsatz eines kommerziellen Produkts 20 Millionen Dollar übersteigt.
Die 2025 veröffentlichten Modelle hatten eine saubere MIT-Lizenz, doch ab moonshotai/Kimi-K2-Thinking im Januar 2026 wurde eine modifizierte MIT-Lizenz verwendet.
Unklar ist auch, ob an Modellgewichten Urheberrecht entstehen kann.
Das ist vor Gericht noch nicht vollständig geklärt, und die Prozesskosten wären hoch, weshalb Arbeitgeber in der Regel auf Nummer sicher gehen und Lizenzen einhalten wollen.
Thaler v. Perlmutter bestätigte, dass das Urheberrecht einen menschlichen Urheber voraussetzt; auch die Richtlinien des US Copyright Office stellen klar, dass Werke, die eine Maschine ohne menschlichen kreativen Eingriff automatisch erzeugt, nicht registriert werden können.
Die folgenden Bestimmungen schließen außerdem mathematische Prinzipien, Formeln, Algorithmen und Gleichungen vom Urheberrechtsschutz aus; betrachtet man ein Modell als Algorithmus, ist die Schlussfolgerung relativ klar.
[1] https://media.cadc.uscourts.gov/opinions/docs/2025/03/23-523...
[2] https://www.copyright.gov/comp3/chap300/ch300-copyrightable-...
Interessant ist der Ansatz eines selbst-evolutionären hierarchischen Wissensgraphen, bei dem Agenten wissensintensive Bereiche und Coding-Felder im Webmaßstab erkunden und kontinuierlich erweitern.
Dass die Aktivierungsfunktion wieder zu tanh zurückkehrt, wirkt, als würden sich technische Moden im Kreis drehen.
f_gate(b,x) = b * tanh(x / b) * sigmoid(x)undf_up(b,x) = b * tanh(x / b).Im Diagramm sieht es nach einem Design aus, das zugleich die Vorteile von GLU bei x-Werten größer als etwa 5 und die Vorteile von SwiGLU mit dem Anstieg kurz vor 0 mitnehmen soll.
Auf Wissensgraphen basierende Aufgabensynthese passt gut zu dem alten Problem, wie man verschiedenste Aufgaben möglichst vollständig abdeckt.
Das könnte auch zu theoretischer Forschung über die Geschwindigkeit führen, mit der neues Wissen entsteht, sowie über menschliche und maschinelle Arten seiner Erzeugung.
Ich frage mich, was derzeit am besten geeignet ist, wenn man für eigene Agenten-Aufgaben feinabstimmen will: LoRA+DPO oder GRPO
Es dürfte besser sein, auf die Fine-Tuning-API des Anbieters zu warten; es scheint nicht nötig, von Anfang an zu Reinforcement Learning oder DPO als off-policy-ähnlichem Reinforcement Learning zu greifen
Ich frage mich, was bei Multi-Teacher-On-Policy-Distillation die Teacher-Modelle sind
Für verifizierbare Bereiche wie Mathematik und Coding ist das nachvollziehbar, aber da sogar Biologie enthalten ist, frage ich mich, ob hier aus einem größeren Modell destilliert wird
Ich verstehe es als eine Destillationsmethode per Reinforcement Learning, bei der das Teacher-Modell jedes Token des Student-Modells, das ein Problem löst, in jedem Schritt anhand der Generierungswahrscheinlichkeit bewertet und dies als Reward oder Loss verwendet
Multi-Teacher scheint zu bedeuten, dass aus mehreren Modellen destilliert wird; dabei könnten auch nicht öffentliche State-of-the-Art-Modelle enthalten sein
Allerdings braucht man Log-Wahrscheinlichkeiten: Die OpenAI API erlaubt das, Anthropic stellt sie hingegen nicht bereit; eventuell gibt es Methoden, sie extern zu schätzen
Diese Methode lässt sich auf jedes Fachgebiet anwenden, das der Teacher kennt, einschließlich Biologie
Ich frage mich, ob der Grund dafür, dass die Inference-Preise mehrerer Anbieter alle gleich sind, in Lizenzvereinbarungen mit Moonshot liegt
Ich frage mich, was nötig wäre, um ein offenes Modell aus den USA zu bauen, das mit Kimi konkurriert
Freiwillig dürfte so etwas schwer kommen; vermutlich müsste man auf irgendeine Weise Druck zur Veröffentlichung ausüben
Ich hatte zuletzt gehofft, dass Gemma mindestens in der 100B-Klasse erscheint, aber Google scheint Modelle dieser Größenordnung nur intern zu halten
Beide sind Open Source gegenüber positiv eingestellt und würden um den Platz eines amerikanischen Kimi konkurrieren