Kimi K3-256k

 (kimi.com)
1 Punkte von GN⁺ 2 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Kimi K3-256k ist ein Modell für alltägliches Coding, das die Ergebnisqualität von K3 bei 256k Kontext beibehält und dabei nur etwa halb so viel Kontingent verbraucht wie k3 mit 1M Kontext
  • Kimi Code bietet K3 und K2.7 Code über vier Modell-IDs an: k3 unterstützt 2,8T Parameter und bis zu 1M Kontext, während kimi-for-coding-highspeed für eine etwa 5–6-mal schnellere Ausgabe das Dreifache des Kontingents verbraucht
  • Beim Wechsel von k3 zu k3-256k muss zuerst compact ausgeführt werden, wenn der bestehende Kontext 256k überschreitet oder Videos enthält, damit die Kompatibilität gewahrt bleibt und die wichtigsten Informationen erhalten bleiben
  • Wenn das Modell oder reasoning_effort geändert wird, wird der bestehende Kontext-Cache ungültig und muss erneut vorbefüllt werden, was die Nutzung erhöhen kann; empfohlen wird der Wechsel in einer neuen Sitzung
  • Verfügbare Modelle und Kontextgrößen hängen vom Tarif ab; bei Überschreitung der Berechtigung wird 401 zurückgegeben. In Drittanbieter-Tools müssen die exakte Modell-ID sowie Kontextgröße und Inferenzstärke direkt eingestellt werden

Modellkonfiguration von Kimi Code

  • Kimi Code stellt Kimi K3 und Kimi K2.7 Code über vier Modell-IDs bereit
    • k3: Flaggschiff-Coding-Modell mit 2,8T Parametern, unterstützt in höheren Tarifen bis zu 1M Kontext
    • k3-256k: 256k-Kontextversion von Kimi K3 mit Fokus auf geringerem Verbrauch
    • kimi-for-coding: Kimi K2.7 Code, geeignet für Codevervollständigung und alltägliche Entwicklungsaufgaben
    • kimi-for-coding-highspeed: K2.7 Code HighSpeed, bietet bei gleicher Coding-Fähigkeit eine etwa 5–6-mal schnellere Ausgabe
  • Spezifikationen und Nutzungsbedingungen je Modell sind wie folgt
    • k3
      • Läuft mit normaler Geschwindigkeit und bietet höheren Mitgliedern bis zu 1M Kontext
      • reasoning_effort unterstützt low, high und max; Standardwert ist high
      • Verfügbar ab Moderato; 1M Kontext wird ab Allegretto bereitgestellt
      • Bilder und Videos können als Eingabe verwendet werden
    • k3-256k
      • Läuft mit normaler Geschwindigkeit, der Kontext ist auf 256k festgelegt
      • reasoning_effort unterstützt low, high und max; Standardwert ist high
      • Verfügbar für Mitglieder ab Moderato
      • Nur Bilder können als Eingabe verwendet werden, Videos werden nicht unterstützt
    • kimi-for-coding
      • Bietet normale Geschwindigkeit und 256k Kontext und ist für alle Mitglieder verfügbar
      • Läuft mit Thinking:ON und unterstützt Bilder und Videos
    • kimi-for-coding-highspeed
      • Gibt bei 256k Kontext etwa 6-mal schneller aus, verbraucht aber das Dreifache des Kontingents
      • Verfügbar ab Allegretto; unterstützt Thinking:ON sowie Bild- und Videoeingaben

Zweck von K3-256k und Modellwechsel

  • k3-256k liefert innerhalb eines 256k-Kontextfensters dieselben Ergebnisse wie k3, verbraucht aber nur etwa halb so viel Kontingent wie die 1M-Version
  • Geeignet für alltägliche Fragen und Antworten, Codevervollständigung, allgemeine Feature-Entwicklung sowie das Bearbeiten einzelner Dateien oder kleiner Dateigruppen; Videoeingaben werden jedoch nicht unterstützt

  • Wechsel von K3 zu K3-256k

    • Wenn der Kontext der aktuellen Sitzung 256k überschreitet, führen einige Tools wie Kimi Code CLI und Claude Code eigenständig compact aus
    • Da Agenten-Tools unterschiedlich damit umgehen, wird empfohlen, vor dem Wechsel einmal manuell compact auszuführen, um den Kontext auf höchstens 256k zu komprimieren
    • So lässt sich die Sitzung beibehalten, während die Kernelemente der Arbeit erhalten bleiben
    • Nach dem Wechsel kann das Kontingent länger genutzt werden
    • Wenn der Gesprächsverlauf Videodateien enthält, kann nicht direkt zu k3-256k gewechselt werden; zuerst muss compact ausgeführt werden

  • Wechsel von K3-256k zu K3

    • Wenn k3-256k nahe an die 256k-Grenze kommt und Informationsverlust durch compact vermieden werden soll, kann direkt zu k3 1M gewechselt werden
    • In der aktuellen Version wirkt sich ein Wechsel von 256k auf 1M nicht auf den Cache aus

Cache- und Nutzungsverwaltung

  • Beim Wechsel des Modells trifft der im vorherigen Modell aufgebaute Kontext-Cache nicht mehr, sodass der entsprechende Kontext erneut vorbefüllt werden muss
  • Dadurch kann die Nutzung direkt nach dem Wechsel erhöht erscheinen. Bei Verwendung eines neuen Modells ist es für bessere Ergebnisse und geringeren Verbrauch vorteilhaft, eine neue Sitzung zu starten

  • Kosten beim Wechsel der Inferenzstärke

    • Auch beim Ändern von reasoning_effort wird der bestehende Kontext-Cache ungültig und muss erneut vorbefüllt werden
    • Es wird empfohlen, eine zur Aufgabe passende Inferenzstärke zu wählen und sie innerhalb einer Sitzung konsistent beizubehalten
    • Wenn tatsächlich eine andere Inferenzstärke benötigt wird, ist es besser, eine neue Sitzung zu starten, statt in einer langen Sitzung wiederholt zu wechseln

Tarifberechtigungen und 401-Fehler

  • Auch bei Verwendung der richtigen Modell-ID gibt der Server 401 zurück, wenn die angeforderte Funktion die Tarifberechtigung überschreitet
    • Keine K3-Zugriffsberechtigung: In Tarifen unter Moderato können k3 und k3-256k nicht aufgerufen werden
    • Keine 1M-Zugriffsberechtigung: Bei Moderato unterstützt k3 maximal 256k; bis zu 1M ist ab Allegretto verfügbar
    • Die Kontextgrenze von k3-256k ist unabhängig vom Tarif fest auf 256k gesetzt
    • Keine HighSpeed-Zugriffsberechtigung: kimi-for-coding-highspeed erfordert Allegretto oder höher
  • Den vollständigen Fehlertext und Vorgehensweisen finden Sie in der Error Reference

Warum sich HighSpeed nicht schnell anfühlt

  • Die HighSpeed-Modell-ID muss exakt kimi-for-coding-highspeed lauten
    • Bei falscher Eingabe wird ohne Fehler auf das standardmäßige kimi-for-coding zurückgegriffen, sodass keine Geschwindigkeitssteigerung sichtbar wird
  • HighSpeed beschleunigt nur die Modellausgabe
    • Datei-Lese- und Schreibvorgänge, Befehlsaufrufe und Skriptausführung werden nicht schneller
    • Wenn in einem Arbeitsschritt Tools oder Skriptausführung einen großen Anteil ausmachen, kann die Gesamtbeschleunigung gering erscheinen

Modellwechsel im Client

  • Wenn die Modell-ID geändert wird, wird der Kontext-Cache ungültig. Um zusätzlichen Token-Verbrauch zu vermeiden und die optimale Nutzungserfahrung zu erhalten, wird empfohlen, eine neue Sitzung zu starten
  • Beim Aufruf muss eine der folgenden Modell-IDs eingegeben werden, nicht der Modellversionsname
    • k3
    • k3-256k
    • kimi-for-coding
    • kimi-for-coding-highspeed
  • Wenn Versionsnamen wie Kimi K3 oder K2.7 Code eingegeben werden, schlägt der Aufruf fehl
  • Wenn Thinking bei K3 oder K2.7 deaktiviert wird, wird die Anfrage zu K2.6 geroutet; um K3 oder K2.7 Code zu verwenden, muss Thinking aktiviert sein

  • Offizielle Clients

    • In der Kimi Code CLI kann mit /model das Modell ohne Einstellungsänderung gewechselt werden
    • Wenn das neueste Modell nicht in der Liste erscheint, muss man sich mit /logout abmelden und mit /login erneut anmelden
    • In Kimi Code for VS Code wird das Modell im Dropdown-Menü des Eingabefelds ausgewählt
    • Wenn das Modell nicht angezeigt wird, sollte VS Code neu gestartet oder die Erweiterung erneut installiert werden

Einstellungen für Drittanbieter-Tools

  • Erstellen Sie in der Kimi Code Console einen API Key und tragen Sie dann Base URL und Modell-ID im Tool ein
  • Die Kimi Code API unterstützt sowohl ein OpenAI-kompatibles Protokoll als auch ein Anthropic-kompatibles Protokoll
  • Die Einrichtung je Tool ist in den folgenden Dokumenten beschrieben
    • Claude Code: Anthropic-Command-Line-Coding-Assistent
    • OpenCode: terminalbasierter Coding-Agent
    • Codex: OpenAI-Coding-Agent

  • K3-Kontexteinstellung

    • Der Standardkontext einiger Drittanbieter-Tools ist kleiner als das K3-Maximum von 1M
    • Um bis zu 1M Kontext zu nutzen, muss das Feld context-window direkt auf 1048576 gesetzt werden

  • Mapping der K3-Inferenzstärke

    • K3 unterstützt low, high und max; vom Tool gesendete Werte werden wie folgt gemappt
    • null oder undefined: Standardwert high
    • Andere unbekannte Werte: HTTP-Fehler 400
    • ultra, max, xhigh: max
    • high, medium: empfohlene Stufe high
    • low, minimum, light: low
    • none: thinking.type wird deaktiviert

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2 시간 전
Hacker-News-Kommentare

  • Codex nutzt den 256k-Kontext sehr gut. 1M ist großzügig, aber immer noch teuer und als Standard offenbar unnötig

  • LLMs werden schnell zu einer austauschbaren Commodity, und die Burggräben amerikanischer AI-Labore wie OpenAI werden schwächer. Am Ende werden wahrscheinlich Hyperscaler und Rechenzentrumsbesitzer gewinnen, die günstige Tokens verkaufen können

    • Ich habe nicht viele andere Produkte ausprobiert, aber das Codex-Harness ist so attraktiv, dass man nur schwer davon wegwechselt. Ich frage mich, ob es noch irgendwo ein Harness in dieser Qualität gibt
    • Ich bin den Frontier-AI-Unternehmen sehr dankbar, die enorme Mengen Kapital und komplexe F&E in jedes einzelne Modell gesteckt haben. Es ist leicht, schon jetzt zu vergessen, wie viel es gekostet hat, bis hierher zu kommen

  • k3-256k wurde veröffentlicht und liefert innerhalb von 256k Kontext dieselben Ergebnisse. k3 (1M) verbraucht im Vergleich zu k3-256k etwa doppelt so viel Kontingent

  • Eine gute Änderung. Normalerweise versuche ich, den Kontext unter 200k zu halten

    • Im Reddit-Thread zu dieser Nachricht ist derselbe Satz ebenfalls der Top-Kommentar
      https://www.reddit.com/r/kimi/s/BFa1TR9vNg
    • Es hängt vom Umfang der Arbeit ab, aber ich halte unter 500k für den Sweet Spot. Bei Claude kann man mit 500.000 Tokens ein ziemlich großes Projekt aufbauen und dabei den gesamten Kontext von Anfang bis jetzt beibehalten
    • „256k sollte für jeden reichen“

  • Dann frage ich mich, ob alle Nutzer Kimi bis zum Erreichen von 256k Kontext plötzlich zum halben Preis verwenden. Falls das stimmt, wäre das eine enorme Änderung

    • Da es ein separates Modell ist, dachte ich, dass beim Wechsel von k3-256k bei 256k auf das 1M-Modell der Cache ungültig wird und man deshalb auch für die bisherigen 256k Tokens erneut den 1M-Modellpreis zahlen müsste
      Aber das ist falsch, und man kann beim Annähern an das Kontextlimit ohne Cache-Invalidierung auf das 1M-Modell wechseln. In der aktuellen Version hat der Wechsel von k3-256k zu k3 (1M) keinen Einfluss auf den Cache
    • So verstehe ich es nicht. Es scheint eher zu bedeuten, dass ein kleineres Kontextfenster im Lauf der Zeit weniger akkumulierte Input-Tokens verursacht und dadurch im Allgemeinen günstiger ist

  • Dieser Beitrag ist seit 38 Minuten online, und seit 20 Minuten werden mehrere Dienste von Anthropic als großflächig gestört angezeigt. Wahrscheinlich kein Zusammenhang, aber irgendwie lustig

  • Es scheint dasselbe Modell zu sein und nur eine Änderung auf API-Ebene

  • Funktional ist das ähnlich wie der Ansatz von OpenAI, bei dem sich die Preisstufe ab einer bestimmten Kontextlänge ändert. Der Schwellenwert liegt ebenfalls bei ungefähr 272k, also in der Nähe von 2^18 oder 256k
    Je größer der aktive Kontext wird, desto mehr Rechenaufwand pro Output-Token und desto mehr zu lesende Bytes fallen an, daher ist es sinnvoll, diese Kosten an die Nutzer weiterzugeben. Überraschend ist nur, dass statt eines stufigen Schwellenwerts keine sanftere Preiskurve verwendet wurde

    • Wahrscheinlich betreiben sie zwei verschiedene Infrastrukturkonfigurationen je nach maximaler Sequenzlänge, daher ist ein stufiger Schwellenwert nicht überraschend
      Eine Konfiguration für kurzen Kontext kann mit weniger reinen Prefill-Knoten pro Instanz auskommen, muss keine großen KV-Caches unterstützen und kommt insgesamt mit weniger Knoten aus. Bei entkoppelter Inferenz lässt sich außerdem das Verhältnis der Rechenleistung für Prefill und Decoding jeweils anpassen

  • Hoffentlich verringert diese Änderung die Infrastrukturlast. In letzter Zeit sind alle Modelle spürbar träger geworden, aber das Support-Team reagiert nicht. Ich vermute, dass ein erheblicher Teil der Anfragen mit quantisierten Modellen verarbeitet wird

    • Eine unbelegte Verschwörungstheorie passt vielleicht zu Reddit, aber nicht zu HN

  • Ich frage mich, ob nicht das Modell quantisiert wurde, sondern nur das Kontextfenster auf 256k reduziert wurde

    • Das 256k-Kontextfenster und Quantisierung sind getrennte Dinge. Von außen ist das schwer direkt zu verifizieren, daher lässt sich die Möglichkeit einer tatsächlichen Quantisierung nicht ausschließen