Kimi-K3 auf Hugging Face veröffentlicht

 (huggingface.co)
1 Punkte von GN⁺ 3 시간 전 | 2 Kommentare | Auf WhatsApp teilen
  • Kimi K3 ist ein Open-Weights-, nativ multimodales Agentenmodell mit 2,8 Billionen Parametern und einem Kontext von 1.048.576 Tokens, das lange Coding-Sessions, Wissensarbeit und Reasoning unterstützt
  • Es kombiniert Kimi Delta Attention (KDA), Attention Residuals und Stable LatentMoE, aktiviert pro Token 16 von 896 Experten und erreicht eine insgesamt rund 2,5-mal höhere Skalierungseffizienz als Kimi K2
  • In öffentlichen Benchmarks erzielt es GPQA Diamond 93,5, Terminal-Bench 2.1 88,3, BrowseComp 91,2 und OmniDocBench 91,1; dabei müssen jedoch Unterschiede bei Harnesses, Inferenz-Einstellungen und Hardware je Modell berücksichtigt werden
  • Es wurde mit MXFP4-Gewichten und MXFP8-Aktivierungen quantization-aware trainiert und lässt sich mit Transformers, vLLM, SGLang, Docker sowie über OpenAI- und Anthropic-kompatible APIs ausführen
  • Bei Multi-Turn-Dialogen und Tool-Aufrufen muss die komplette von der API zurückgegebene assistant-Nachricht einschließlich reasoning_content und tool_calls unverändert erneut übergeben werden; Code und Gewichte sind unter der Kimi K3 License veröffentlicht

Modellarchitektur und Größe

  • Kimi K3 ist ein Open-Weights-, nativ multimodales Agentenmodell, das für lange Coding-Sessions, Wissensarbeit und Reasoning entwickelt wurde
  • Die Gesamtzahl der Parameter beträgt 2,8T, davon sind 104B aktiv; das Modell besteht aus 93 Layern
    • Es nutzt 1 Dense-Layer, 69 KDA-Layer und 24 Gated-MLA-Layer
    • Die Attention Hidden Dimension beträgt 7.168, es gibt 96 Attention Heads
  • Stable LatentMoE wählt pro Token 16 von 896 Experten aus und nutzt 2 gemeinsame Experten
    • Die Latent-MoE-Dimension beträgt 3.584, die MoE Hidden Dimension pro Experte 3.072
    • Im Vergleich zu Kimi K2 verbessert sich die gesamte Skalierungseffizienz um etwa das 2,5-Fache
  • Die Vokabulargröße liegt bei 160K, die Kontextlänge bei 1.048.576 Tokens, als Aktivierungsfunktion wird SiTU-GLU verwendet
  • Als Vision-Encoder kommt MoonViT-V2 mit 401M Parametern zum Einsatz
  • Zu den wichtigsten Fähigkeiten zählen Text-, Bild- und Videoverständnis; in der Modellübersicht ist bei „modality“ jedoch nur Text und Image aufgeführt

Lange Coding-Sessions und Wissensarbeit

  • Das Modell kann mit minimaler menschlicher Aufsicht lange Engineering-Sessions aufrechterhalten, große Repositories durchsuchen und Terminal-Tools koordinieren
    • Es unterstützt GPU-Kernel-Optimierung und Compiler-Entwicklung
    • Ebenfalls abgedeckt sind Spieleentwicklung mit Vision-Nutzung, CAD und Chipdesign
  • Bei agentischer Wissensarbeit erstellt es neben tiefgehender Recherche interaktive Visualisierungen, Widgets und Dashboards
    • Motion Design und Videobearbeitung gehören ebenfalls zum unterstützten Bereich
  • Als Coding-Agent-Framework wird Kimi Code CLI empfohlen; im Terminal kann Kimi K3 mit dem Befehl /model ausgewählt werden

Evaluationsergebnisse

  • Alle Ergebnisse von Kimi K3 wurden mit reasoning_effort="max" und temperature 1.0 gemessen
    • Für einstufige Aufgaben wie GPQA Diamond, HLE-Full und Vision-Evaluationen ohne Tools wurde top-p 0.95 verwendet
    • Für Agentenaufgaben wurde top-p 1.0 eingesetzt
  • Bei Reasoning- und Wissens-Benchmarks erreicht es GPQA Diamond 93,5, CritPt 23,4 und AA-LCR 74,7
    • HLE-Full liegt ohne Tools bei 43,5 und mit Tool-Nutzung bei 56,0
  • Bei Coding-Benchmarks erreicht es ProgramBench 77,8, Terminal-Bench 2.1 88,3 und FrontierSWE 81,2
    • DeepSWE liegt im Kimi-Code-Harness bei 67,5 und im mini-SWE-agent-Harness bei 67,3
    • Es erzielt SWE-Marathon 42,0, PostTrainBench 36,6, MLS-Bench-Lite 48,3, SciCode 58,7 und Kimi Code Bench 2.0 72,9
  • Bei Agenten-Benchmarks erreicht es BrowseComp 91,2, DeepSearchQA F1 95,0 und ResearchRubrics 76,2
    • MCPMark-Verified liegt bei 94,5, AutomationBench bei 30,8, SpreadsheetBench 2 bei 34,8 und OSWorld-Verified bei 84,8
    • Gemessen wurden außerdem Harvey Lab-AA 94,6, CorpFin v2 71,6, Finance Agent v2 54,4 und Legal Research Bench 44,2
  • Bei Vision-Benchmarks erreicht es OmniDocBench 91,1, Video-MME 90,0 und MMVU 82,1
    • MMMU-Pro liegt ohne Tools bei 81,6 und mit Tool-Nutzung bei 83,4
    • MathVision steigt von 94,3 auf 97,8 bei Verwendung von Python
    • ZeroBench pass@5 steigt von 23,0 auf 41,0 mit Tool-Nutzung

Evaluationsbedingungen und Vergleichseinschränkungen

  • Zu den Vergleichsmodellen gehören Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8, GPT-5.5 und GLM-5.2, allerdings kann sich das Evaluations-Harness je Modell unterscheiden
    • Kimi K3 nutzt überwiegend Kimi Code oder Claude Code
    • Die GPT-Familie nutzt überwiegend Codex, andere Claude- und GLM-Modelle nutzen Claude Code oder Terminus 2
  • SWE-Marathon wurde auf einem Branch evaluiert, der Aufgaben mit Stand vom 9. Juli 2026, also vor dem finalen v1.1, für H20 angepasst hat
    • Docker-Images, GPU-Leistungsreferenzen und Referenz-Oracles wurden für H20 neu kalibriert, die Prüfer für Korrektheit und Cheat-Prävention jedoch nicht geändert
    • Bei Claude Fable 5 trat bei 35 % der Aufgaben ein Fallback auf, was die gemessene Performance negativ beeinflusst haben könnte
  • PostTrainBench ist der Durchschnitt aus drei Läufen mit maximalem Inferenzaufwand auf einer H20-GPU statt der H100 der offiziellen Umgebung
  • Kimi Code Bench 2.0 enthält Cybersecurity- und Safety-Aufgaben
    • Bei Claude Fable 5 gab es bei 80 Aufgaben 13 Fallbacks und 1 Ablehnung
    • GPT-5.6 Sol lehnte 10 Aufgaben ab, GPT-5.5 lehnte 3 ab
  • BrowseComp 91,2 ist das Ergebnis einer Kontextkompressionsstrategie, die mit 300K Tokens arbeitet
    • Bei Nutzung des gesamten 1M-Token-Fensters ohne separates Kontextmanagement erreicht es 90,4
  • Multimodale Evaluationen verwenden mit Ausnahme von ZeroBench den Durchschnitt aus drei Läufen
    • ZeroBench wird gemäß offizieller Einstellung fünfmal ausgeführt
    • PerceptionBench ist ein eigener Benchmark zur Messung atomarer visueller Wahrnehmungsfähigkeiten

Native Quantisierung

  • Ab der SFT-Phase wurde quantization-aware Training eingesetzt
  • Die Gewichte verwenden MXFP4, die Aktivierungen MXFP8, mit dem Ziel breiter Hardware-Kompatibilität

Deployment und Ausführung

  • Über Auswahl von kimi-k3 kann auf die Kimi API zugegriffen werden; sie bietet OpenAI- und Anthropic-kompatible APIs
  • In Hugging Face Transformers kann es mit pipeline("image-text-to-text", ...) oder AutoModel.from_pretrained(...) geladen werden
    • Für Custom Model Code ist trust_remote_code=True erforderlich
  • Lokales Serving unterstützt vLLM und SGLang
    • Beide Engines können Text- und Bildanfragen über den OpenAI-kompatiblen Endpunkt /v1/chat/completions verarbeiten
  • Im Docker Model Runner wird es mit docker model run hf.co/moonshotai/Kimi-K3 ausgeführt
  • Das Modell ist auch in HuggingChat, Google Colab und Kaggle verfügbar

API-Nutzung mit Erhalt des Reasoning-Zustands

  • Bei Kimi K3 ist der Thinking Mode immer aktiv, wodurch reasoning_content zurückgegeben wird
  • Das Top-Level-Anfragefeld reasoning_effort unterstützt "low", "high" und "max"; Standardwert ist "max"
  • Multi-Turn-Dialoge und Tool-Aufrufe müssen dem Verfahren mit erhaltener Thinking-Historie entsprechen
    • Die von der API zurückgegebene assistant-Nachricht muss unverändert wieder an messages übergeben werden
    • Neben content müssen auch reasoning_content und tool_calls enthalten sein
  • Vision-Eingaben, strukturierte Ausgabe, partial mode, Tool-Auswahl, dynamisches Tool-Loading und Kontext-Caching sind im Kimi K3 Quickstart und unter Thinking Effort beschrieben

Lizenz

  • Code-Repository und Modellgewichte sind beide unter der Kimi K3 License veröffentlicht

Verwandte Beiträge

2 Kommentare

 
treestae 1 시간 전

Wäre schön, wenn es dafür auch einen lokalen Anbieter gäbe.
 
GN⁺ 3 시간 전
Meinungen auf Hacker News

  • Sobald der Drittanbieter-Mittelpreis für ein Modell mit 3 Billionen Parametern feststeht, dürfte man die tatsächlichen Serving-Kosten und die Frage abschätzen können, ob das Labor API-Tokens subventioniert.
    Da es MXFP4-nativ ist, braucht es etwa 1,5 TB VRAM und liegt damit an der Grenze von 8×B200; berücksichtigt man Kontextlänge und Durchsatzoptimierung, scheinen realistisch eher 16 Karten nötig.
    Im AISI-Benchmark für Cybersicherheit liegt es höher als GLM 5.2, aber mit großem Abstand zu den führenden proprietären Modellen, sodass Fine-Tuning nötig sein könnte. Interessant ist auch, ob Cursor es erneut trainiert, um es direkt mit der Composer-Familie, also feinabgestimmten Kimi-2.6/2.7-Varianten, sowie Grok 4.5 zu vergleichen.
    Erwartet wird auch die Möglichkeit, durch saubere Knowledge Distillation, die die vollständige Wahrscheinlichkeitsverteilung lernt, kleinere Modelle zu erstellen. Besonders DSV4-Kimi mit niedrigen Serving-Kosten dürfte vielversprechend sein.

    • Mich interessiert, welche langsame Inferenzleistung man auf Dual- oder Quad-Socket-Xeon-Servern mit nur RAM und ohne GPU bei 1,5 bis 3 TB RAM erreichen kann. Für Langläufer über 4 bis 6 Stunden könnten je nach Einsatzzweck auch 5 bis 6 Tokens pro Sekunde brauchbar sein.
      Ein gebrauchter 4U-Server mit 32×64-GB-ECC-DIMMs für 3 TB RAM kostet unter 30.000 Dollar, also deutlich weniger als echte GPU-Hardware. Vollpräzisionsgewichte oder Q8/Q8-XL-Quantisierungen von Unsloth gibt es noch nicht, aber um auch großzügigen Kontext nutzen zu können, braucht man offenbar mehr als 1.536 GB, eher 2 TB und möglichst 2,5 bis 3 TB.
      Q4 und Q6 dürften sehr wahrscheinlich der schlechteste Kompromiss sein: Sie verlieren Wissen und Präzision, sind trotzdem langsam und schwer zu vertrauen. Wenn man auf Budget-Hardware ein kluges, aber langsames Modell betreiben will, halte ich Q8 für nötig.
    • Fine-Tuning setzt derzeit meist LoRA auf bnb-4-Bit-basierten Modellen ein, aber ich denke, es ist Zeit, das Basisformat auf GGUF umzustellen. GGUF unterstützt neue Modellarchitekturen und aggressivere Quantisierung sehr aktiv.
      Unter https://github.com/woct0rdho/transformers5-qwen3.5-recipe habe ich einen Proof of Concept erstellt; Qwen3.5-35B-A3B lässt sich ohne CPU-Offloading mit 16 GiB VRAM feinabstimmen, DeepSeek-V4-Flash 284B-A13B mit 90 GiB VRAM. Auch auf Unified-Memory-Systemen wie Strix Halo funktioniert es gut.
      Trotzdem brauchen Modelle der Klasse Kimi-K3 mehrere GPUs und Nodes, wodurch im Vergleich zum Training auf einer einzelnen GPU deutlich mehr zu lösen ist.
    • Anthropic und OpenAI haben Optimierungsinnovationen, die chinesische Labore nicht haben; daher zeigt dieser Preis zwar eine Obergrenze der Kosten, aber keine Untergrenze.
    • Als MXFP4-natives Modell ist auch die Hardware-Seite interessant. Es passt bequem in einen 8×AMD-MI355X-Node, was die Tokenpreise weiter senken könnte.
    • Ohne die Trainingskosten zu kennen, kann man nur die Grenzkosten für das Serving eines solchen Modells ableiten, aber nicht, ob das Labor API-Tokens subventioniert. Auch die tatsächliche Größe proprietärer Modelle kennen wir nicht; nicht einmal, ob Fable 10 Billionen oder 1 Billion Parameter hat.

  • Viel interessanter als der Preis ist bei dieser Veröffentlichung die Anpassbarkeit. Auch Startups können die Gewichte herunterladen, verändern und feinabstimmen; der eigentliche Vorteil liegt weniger in den Kosten als in der Leistung auf eigenen Daten und in der Souveränität über geistiges Eigentum. Eine große Leistung des Kimi-Teams.

  • Die Hardware, mit der Einzelpersonen LLMs betreiben sollen, wirkt auf mich für den Zweck falsch zugeschnitten. Entweder hält man sich mit 5 bis 10 Tokens pro Sekunde auf Unified Memory über Wasser, oder man muss zu Datacenter-Karten mit Hunderten GB VRAM und über 1 kW Verbrauch greifen.
    Es gibt keine semiprofessionelle GPU mit 180 bis 250 W TDP und 128 oder 256 GB VRAM; schon zwei solcher Karten plus eine gängige Verbindung auf NVLink-Niveau wären ziemlich nützlich. Kimi K3 lokal auszuführen würde ein gewaltiges Homelab und hohe Kosten erfordern, aber es wäre schön, wenn man GLM 5.2 in einer Einzelsitzung mit etwa 100 Tokens pro Sekunde und bei Nutzung mehrerer Sub-Agenten mit etwa 60 Tokens pro Sekunde betreiben könnte.

    • Das gewünschte große Q8-Modell passt nicht in ein 3.995-Dollar-System mit maximal 128 GB RAM, und auch kein praktikabler Kontextraum lässt sich dort unterbringen. Qwen 3.5 122B Q8, DeepSeek V4 Flash Q8 und Laguna S 2.1 Q8 brauchen inklusive vollem Kontext 170 bis 190 GB RAM und passen damit in eine GPU-lose Dual-Socket-Workstation oder einen Server mit 256 GB.
      Messwerte mit aktuellem llama-server und --no-mmap werden auf DeepSeek-V4-Flash Q4_K_XL 178.175 MiB, Q8_K_XL 184.636 MiB, Laguna-S-2.1 Q8_K_X 172.860 MiB und Qwen3.5-122B-A10B Q8_K_XL 170.038 MiB geschätzt.
    • LLM-Inferenz für einen einzelnen Nutzer passt besonders schlecht zu normaler Consumer-Hardware. Die Last ist sporadisch, aber die Gewichte müssen ständig im Speicher bleiben; deutlich effizienter ist daher ein Multi-User-Server mit residenten Gewichten, bei dem pro Nutzer nur der KV-Cache hinzukommt, und teure GPU-Kerne bleiben dann auch nicht die meiste Zeit ungenutzt.
      Das steht im Gegensatz zu Desktop-Arbeit: Auch sie ist sporadisch, aber die nötige Rechenleistung ist so billig geworden, dass man überdimensionierte Hardware auf dem Schreibtisch haben kann, die im Leerlauf kaum stört.
    • Seit dem Krypto-Boom haben GPU-Hersteller begonnen, den Markt zur Preisdifferenzierung über VRAM zu segmentieren. Nvidia begrenzt den Speicher von Consumer-Karten klein, um zu verhindern, dass Cloud-Anbieter sie massenhaft aufkaufen, und konnte im Kern dieselbe Hardware zu stark unterschiedlichen Preisen an PC- und Datacenter-Märkte verkaufen und so auf beiden Seiten profitieren.
    • Da die Modelle immer größer werden, fühlt es sich an, als ginge es in die Gegenrichtung der PC-Revolution. Besonders unfair wirkt es, wenn die führenden Labore fast nur proprietäre Modelle veröffentlichen, gpt-oss als eine Art Ausnahme belassen, die Ausführung offener Modelle erschweren und trotzdem von Demokratisierung sprechen.
    • Solche LLMs zu Hause auszuführen dürfte ohne einen Design-Durchbruch kaum praktikabel sein. Der vernünftige Ausführungsmodus ist nur die Verarbeitung in großen Batches auf geteilter Hardware.
      Wenn ich mir eine GPU für ein paar Tausend Dollar leisten könnte, würde ich sie als wohlhabender Technikfreak kaufen, müsste aber einräumen, dass sie ein extrem ineffizienter Luxus wie ein Sportwagen ist. Das wirklich Bedauerliche ist, dass uns entweder die Computing-Technik oder die politischen und sozialen Institutionen fehlen, um geteilte Hardware vertrauenswürdig zu betreiben.

  • Laut Lizenz müssen Lizenznehmer oder verbundene Unternehmen, die ein Model-as-a-Service-Geschäft betreiben und über einen zusammenhängenden Zeitraum von 12 Monaten einen Gesamtumsatz von mehr als 20 Millionen US-Dollar erzielen, vor der kommerziellen Nutzung der Software oder abgeleiteter Werke eine separate Vereinbarung mit Moonshot AI abschließen.

    • Das wirkt ähnlich wie der Ansatz, den Meta bei den frühen Llama-Modellen angewendet hat. Außerdem ist auch die Klausel cleveres Marketing, wonach bei Nutzung der Software oder abgeleiteter Werke in kommerziellen Produkten oder Diensten mit 100 Millionen monatlich aktiven Nutzern oder 20 Millionen US-Dollar Monatsumsatz Kimi K3 gut sichtbar in der Benutzeroberfläche angezeigt werden muss.

  • Verfügbar unter https://app.fireworks.ai/models/fireworks/kimi-k3; der Preis beträgt 3 US-Dollar pro 1 Mio. nicht gecachter Input-Tokens, 0,30 US-Dollar für gecachten Input und 15 US-Dollar für Output.

    • Der Kimi-Priority-Tarif von Fireworks ist auch bei OpenRouter für 3,75 US-Dollar pro 1 Mio. Tokens verfügbar: https://openrouter.ai/moonshotai/kimi-k3#providers
      Derzeit ist die Latenz deutlich niedriger als bei Moonshot, allerdings ist auch die Nutzung viel geringer; es bleibt abzuwarten, ob das so bleibt. Trotzdem ist die Bereitstellung am selben Tag beeindruckend.
    • Claude Opus 5 kostet 5 US-Dollar für nicht gecachten Input, 0,50 US-Dollar für gecachten Input und 25 US-Dollar für Output; für Cache-Writes fallen zusätzlich 25 % bei 5 Minuten bzw. 100 % bei 1 Stunde an.
    • Wenige Stunden nach dem Launch bei Fireworks konnten wir es den Nutzern unserer Plattform bereitstellen. Schade ist allerdings, dass das On-Demand-Flux-Modell eingestellt wurde – jetzt ist unklar, wo man Bildgenerierung machen soll.
    • Auch bei Together.ai zum selben Listenpreis verfügbar; Fireworks und Together habe ich zuerst geprüft.

  • Durch den Wettbewerb ist der Preis von GLM 5.2 in rund 1,5 Monaten seit dem Launch am 16. Juni um etwa 45 % gefallen, und neue Anbieter liefern sich weiterhin einen Preiswettbewerb: https://openrouter.ai/z-ai/glm-5.2#providers
    Ökonomisch gesehen darf der Preis nicht unter den Grenzkosten liegen, nicht unbedingt unter den Gesamtkosten; bei Rechenzentren mit niedriger GPU-Auslastung entspricht das grob den Stromkosten. Wegen Überkapazitäten kleinerer Rechenzentren und des Wettbewerbs ist zu vermuten, dass bald Anbieter Tokens sogar unterhalb der Summe aus Stromkosten und GPU-Abschreibung verkaufen könnten.

    • Möglich wäre auch ein Modell, bei dem Tokens billig verkauft und anschließend die Token-Daten der Nutzer anderswo weiterverkauft werden.
    • Die Angabe eines Rückgangs um 45 % ist fragwürdig. Die günstigen Anbieter auf OpenRouter verwenden im Gegensatz zum offiziellen FP8 von Z.ai FP4. Es gibt zwar auch günstige FP8-Anbieter wie Novita, aber in der UI wirkt das wie ein temporärer Rabatt, und der Normalpreis liegt fast auf dem Niveau des offiziellen Z.ai.
    • SemiAnalysis schätzt die Kosten eines Modells mit etwa 2 Billionen Parametern auf unter 1 US-Dollar pro 1 Mio. Tokens. Das hängt von Durchsatz und Quantisierung ab, aber wenn die Kosten großer Anbieter niedrig genug sind, könnte selbst der aktuelle Tiefstpreis von 2,42 US-Dollar für GLM 5.2 noch hohe Gewinne lassen.

  • Als ich auf Hugging Face „Tell me about yourself“ fragte, antwortete Kimi K3 interessanterweise, es sei Claude von Anthropic.

    • Auf dieselbe Frage antwortete es korrekt, es sei „Kimi, entwickelt von Moonshot AI“.
    • Solche Antworten bedeuten nicht viel. Wenn man Opus auf Chinesisch dieselbe Frage stellt, bezeichnet es sich manchmal auch als DeepSeek, weil Trainingsdaten vermischt sind und Modelle halluzinieren.
    • Das ist nicht überraschend. Knowledge Distillation ist verbreitet und wird von allen Labs genutzt, ob absichtlich oder nicht. Denn Trainingskorpora nach ChatGPT enthalten immer KI-generierte Inhalte.

  • Es empfiehlt sich, Frontier-Modelle zur Archivierung herunterzuladen. Selbst 1,5 TB kann man auf günstige Festplatten legen und per Torrent seeden; das ist noch nützlicher.
    So wie früher versucht wurde, Verschlüsselungsalgorithmen zu kontrollieren, könnten auch Modelle regulatorisch abgeschottet werden; öffentliche Software überlebt nur, wenn sie breit verteilt ist. Mit der Zeit wird realistische Ausführung dank enormer Investitionen in Verfahren und Hardwarefertigung möglich werden – es wäre schade, wenn die Verteilung dann illegal wäre und man die Kosten regulatorischer Vereinnahmung tragen müsste.

    • Die Torrent-Datei gibt es unter https://terminalbytes.com/kimi-k3-torrent/Kimi-K3.torrent
      Die Magnet-Adresse lautet magnet:?xt=urn:btih:1e63a865fbf9b58decc8b71091db54d673c5da6f&dn=Kimi-K3&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=udp%3A%2F%2Fopen.stealth.si%3A80%2Fannounce&tr=udp%3A%2F%2Fexplodie.org%3A6969%2Fannounce&tr=udp%3A%2F%2Ftracker.torrent.eu.org%3A451%2Fannounce&tr=udp%3A%2F%2Fexodus.desync.com%3A6969%2Fannounce.
    • Die Behörden werden letztlich schon den Kauf der Hardware beschränken, auf der solche Modelle laufen.
    • Günstige Festplatten gibt es inzwischen auch nicht mehr, und wegen vager regulatorischer Sorgen möchte ich nicht Hunderte Dollar ausgeben.

  • Nach Prüfung der Lizenz und Tests auf echter Hardware scheint es schwierig, dass Anbieter 60–70 % günstiger als Moonshot anbieten können. Etwas niedriger dürfte möglich sein, aber Rabatte auf GLM-Niveau wirken schwierig, sofern man nicht die Verarbeitungsgeschwindigkeit stark opfert.
    Die Marge von Kimi wird auf etwa 40–50 % geschätzt, selbst wenn man annimmt, dass GPUs zu teuren Mietpreisen beschafft werden; mit eigener Hardware könnte sie höher liegen. An die von manchen geschätzten Margen von über 90 % bei Anthropic kommt das aber nicht heran, und selbst 80 % Marge bei der Anthropic-API erscheinen zweifelhaft.
    Wenn nur Stromkosten als Kostenbasis zählen, wären 80–90 % möglich, aber bei den derzeit angebotenen Tokens pro Sekunde wirkt das nicht einfach. Getestet wurde nur auf B200, B300 war nicht verfügbar; es handelt sich bereits um ein quantisiertes Modell, und der Kontext von 1 Mio. Tokens wird ebenfalls nicht genutzt, sodass kurzfristig wenig Spielraum für Speicheroptimierung zu bestehen scheint. Es wäre gut, wenn jemand mit Zugriff auf R100 die Kosten verifizieren könnte.
    Große Anbieter müssen mit Kimi einen Vertrag schließen, daher sind starke Rabatte kaum zu erwarten, solange Kimi das führende offene Modell ist.

  • Der Originallink gibt 404 zurück; ich frage mich, ob er blockiert oder selbstzensiert wurde

    • Bis vor ein paar Minuten gab es noch eine Countdown-Seite für die Veröffentlichung der Gewichte, und es waren 19 Minuten bis zum Ende übrig, dann kam plötzlich ein 404
    • Wahrscheinlich handelt es sich um ein technisches Problem beim Übergang. Selbst wenn es kaum jemand ausführen kann, ist es interessant, was bei Hugging Face passiert, wenn massenhaft Nutzer ein mehrere TB großes Modell herunterladen
      Es dürfte Nachfrage danach geben, es zu archivieren, falls es wegen staatlicher Kontrolle plötzlich verschwindet. Auch China hat vor Kurzem begonnen, Exportkontrollen für Modelle zu diskutieren; jetzt, da nicht mehr rückständige, sondern State-of-the-Art-Modelle veröffentlicht werden, ist die Lage anders
    • Es mag nach Verschwörungstheorie klingen, aber es wäre eine gute Gelegenheit für die USA oder China, Einfluss zu demonstrieren; die USA erscheinen mir dabei wahrscheinlicher