2 Punkte von GN⁺ 1 일 전 | 1 Kommentare | Auf WhatsApp teilen
  • Beim parallelen Einsatz von Kimi K3 und Claude für alltägliche Coding-Aufgaben war es schwierig, einen praktischen Unterschied bei der Ausgabequalität und der für Antworten benötigten Token-Zahl zu erkennen
  • Die Kimi-K3-API kostet 3 $ pro 1 Mio. Input-Token und 15 $ für Output-Token und ist damit deutlich günstiger als Claudes Topmodell mit 10 $ bzw. 50 $
  • Kimi startet bei 19 $ pro Monat, und auch der Coding-Tarif für 39 $ pro Monat bietet großzügige Limits, während bei Claude die Nutzungslimits während Agenten-Aufgaben schnell aufgebraucht sind und selbst im 20-$-Monatstarif der Zugriff auf Fable nicht aufrechterhalten wurde
  • In Semgreps Cybersecurity-Benchmark lag GLM 5.2 vorne, weil das eingeschränkte Claude einige Aufgaben verweigerte, während GLM 5.2 sie ausführte; es ist unter MIT-Lizenz veröffentlicht und günstiger als das aktuelle Opus
  • Beschränkungen, die nur für US-Modelle gelten, verringern lediglich die Auswahl für US-Kunden, verhindern aber nicht die Konkurrenz durch ausländische Open Models; damit gibt es immer weniger Gründe, weiter für Claude zu zahlen, wenn Kimi K3 ähnliche Qualität zu niedrigeren Preisen bietet

Qualitäts- und Preisvergleich von Kimi K3 und Claude

  • Beim Einsatz von Kimi K3 zusammen mit Claude für allgemeine Coding-Aufgaben zeigte es dieselben Aufgaben und dieselbe Ausgabequalität bei nahezu identischem Token-Verbrauch
    • Das widersprach der Erwartung, dass Open Models schlampigere Ergebnisse liefern oder mehr Token benötigen würden, um zur gleichen Antwort zu kommen
  • Der API-Preis von Kimi K3 liegt bei 3 $ pro 1 Mio. Input-Token und 15 $ pro 1 Mio. Output-Token
    • Claudes Topmodelle kosten in derselben Einheit 10 $ bzw. 50 $
  • Kimis kostenpflichtige Pläne beginnen bei 19 $ pro Monat; der Coding-Tarif für 39 $ pro Monat bietet mehr Nutzungsspielraum als Claude-Angebote in einer ähnlichen Preisklasse
    • Claude-Pläne haben strenge Nutzungslimits, sodass man an einem normalen Arbeitstag mit Agenten-Aufgaben schon vor dem Mittag das Kontingent aufbrauchen kann
    • Claude konnte den Fable-Zugriff im 20-$-Monatstarif nicht aufrechterhalten, weshalb dieser abgeschaltet und auf Opus gewechselt wurde; bei Kimis Tarif gibt es diese Einschränkung nicht

US-KI-Politik und Wettbewerb durch Open Models

  • Während die US-Regierung den Start von Fable verzögerte und auch das finale Modell mit Beschränkungen versah, die mehrere Aufgabenkategorien verweigern, können Frontier-Open-Models chinesischer Labore heruntergeladen werden und entziehen sich damit dem Regelungsbereich der US-Regierung
  • In Semgreps Cybersecurity-Benchmark lag GLM 5.2 vor Claude
    • Das eingeschränkte Modell verweigerte Aufgaben, das Open Model führte sie aus, und dieser Unterschied beeinflusste das Ergebnis
  • GLM 5.2 wurde unter MIT-Lizenz veröffentlicht; ohne sich selbst als Frontier-Modell zu bezeichnen, liefert es in realen Aufgaben bessere Ergebnisse als das aktuelle Opus und kostet deutlich weniger
  • Auch OpenAIs GPT-5.6 durchlief das Verfahren mit staatlichen Beschränkungen, doch OpenAI hat mehr Spielraum als Anthropic, weil es sein Hauptmodell im 20-$-Monatstarif anbieten kann
  • Künftig könnte die US-Regierung die aus der Autoindustrie bekannten Instrumente wie Subventionen, Rettungspakete und Schutzzölle auf KI und Open Source anwenden
    • Durch Public-private Partnerships könnten inländische Modelle unterstützt werden, die nur innerhalb der USA genutzt werden und international nicht konkurrenzfähig sind
    • In der Folge müssten US-Nutzer möglicherweise inländische Modelle kaufen, statt die höchste Qualität oder den niedrigsten Preis zu erhalten, und könnten nicht die besten Modelle zum besten Preis nutzen

1 Kommentare

 
GN⁺ 1 일 전
Hacker-News-Kommentare
  • Ob man nun per Distillation Leistungsniveau erreicht hat oder von Anfang an unabhängig entwickelt wurde: Das Ergebnis für die führenden US-Labore stand von Anfang an fest. Distillation ist kein Angriff, und ebenso wie Frontier-Labore Wissen, das von der Menschheit geschrieben wurde, in ihre Modelle destilliert haben, ist es nur natürlich, dass nachfolgende Labore dies in günstigere Modelle komprimieren.
    Es gibt realistisch auch keine Möglichkeit, das Speichern von Gesprächen und ihre Nutzung zum Training eigener Modelle zu verhindern, daher scheint es sinnvoller, in Hardware-Unternehmen statt Modellunternehmen zu investieren.

    • Zu behaupten, das sei so selbstverständlich gewesen, kommt einer nachträglichen Umschreibung der Geschichte nahe. Distillation ist weiterhin ein aktives Forschungsfeld, und dass man Modelle so leicht wie heute destillieren kann, ist ein interessantes Ergebnis, nicht etwas, das schon vor 12 Monaten als selbstverständlich galt.
      Noch vor nur 6 Monaten erwarteten viele, dass alle Modelle scheitern würden, wenn man Modellausgaben als Trainingsdaten verwendet, wegen einer zirkulären Trainingskatastrophe, also sollte man nicht so reden, als sei das von Anfang an offensichtlich gewesen.
    • Der Annahme, dass Distillation kein Angriff ist, stimme ich stark zu, aber K3 ist keine destillierte Version von Fable oder Sol. Fable ist erst seit Kurzem öffentlich, Sol wurde gerade erst veröffentlicht, und in Arena-Nutzerbewertungen ist K3 in manchen Bereichen besser als beide.
      API-Distillation ist nur nützlich, um bei Reinforcement Learning in neuen Bereichen schnell den Cold Start zu überwinden; tatsächlich wichtiger sind die Qualität und Vielfalt der Reinforcement-Learning-Umgebungen, in denen das Modell lernt.
    • Die Auswirkungen von Distillation-Angriffen scheinen etwas übertrieben. Inzwischen sind die meisten Fine-Tuning-Daten synthetische Daten, und da man denselben Inhalt nicht einfach wiederholen kann, ähnelt es eher dem Verfassen von Lehrmaterial, in dem ein anderes LLM ein Thema ausführlich und ohne Auslassungen erklärt.
    • Fast alle Märkte stützen sich in irgendeiner Form auf Regulierung, von „nur Diebstahl verbieten und sonst freie Hand“ bis hin zu massiver Regulierung bei jeder Beschaffung.
      Die USA haben sich bisher noch nicht für eine chinesische Kontrolle nach Art der Seltenen Erden entschieden, aber wenn Distillation sich weiter verbreitet, ist es gut möglich, dass auch die Seite, die das nicht tut, Regulierungskosten wie Zugangssperren oder übermäßige Kontrollen tragen muss. So wie man bei Musikkopien großzügig war, aber bei bildender Kunst empört reagierte, hängt es letztlich vom gesellschaftlichen Konsens ab, ob man das als Diebstahl oder als normales Geschäft einordnet; ohne großen Durchbruch wird sich der Abstand wohl verringern.
    • Anthropic macht es sogar schwer, durch frühere Gespräche zu scrollen oder Denk-Token und Sub-Agenten einzusehen. Es wirkt, als wollten alle dafür sorgen, dass man immer wieder zu ihrem eigenen Service zurückkehrt, ohne zu lernen, wie man selbst einen Brunnen gräbt.
  • Wir sind viel schneller als erwartet an diesem Punkt angekommen. Ich frage mich, wie eine Welt aussähe, in der westliche Regierungen den Zugang zu offenen Frontier-Modellen mit offenen Gewichten als nationales Sicherheitsrisiko einstufen und ihre Nutzung als terroristische Handlung klassifizieren.
    Kimi K3 könnte dann wie Napster werden, das jeder benutzte, obwohl klar war, dass es illegal war, oder es könnte ein Cannabis-artiger Untergrundmarkt entstehen, in dem jemand aus der Nachbarschaft Rechenzeit auf einem 8×5090-Setup im Keller vermietet, zusammengebaut aus eBay-Teilen und nach Verbrauch abgerechnet. Wenn die Kontrolle dagegen erfolgreich ist, bleiben öffentlich nur die abgeschwächten Optionen von Cohere und Mistral, und man müsste teures Geld für „American Frontier“-Modelle von Anthropic und OpenAI bezahlen, die hinter China zurückliegen.
    Wie beim Kindle Fire, das durch Werbung subventioniert wurde, könnte auch eine Kindle AI auftauchen, die Einfluss an den Höchstbietenden verkauft, sodass Propaganda von Tabakkonzernen in die Training-Pipeline gelangt und das LLM behauptet, Rauchen sei gesund.

    • Das käme einer neuen Eisernen Vorhangs gleich, in dem die Welt in digitale Blöcke geteilt wird. Je länger der Austausch unterbrochen bleibt, desto größer wird die Wahrscheinlichkeit, dass sich das offene Internet und die Wissenschaft in inkompatible Ökosysteme aufspalten.
      Die US-Regierung hat jüngst für wissenschaftliche Kooperationen der NSF Beschränkungen angekündigt, die dem Wolf Amendment ähneln, und die Zuständigkeit in Richtung Militär verschoben; gleichzeitig versucht sie, viele Länder in eine Pax Silica hineinzuziehen, die China ausschließen soll, und Verbündeten eigene Produkte mit eingeschränkter Funktionalität aufzuzwingen. Vielleicht bleiben neutrale Regionen wie die Schweiz oder Singapur bestehen, über die Nutzer aus den USA und der EU den Bereich jenseits des Vorhangs ohne rechtliche Nachteile nutzen können.
      https://nitter.net/RnaudBertrand/status/2069574934972797089
    • Dass Geräte wie der Mac Studio mit viel RAM verschwunden sind, ist vermutlich Zufall.
    • Wenn man Open-Source-Modelle illegal macht, schadet das nur US-Unternehmen. Der Rest der Welt wird weiterhin Open Source nutzen und dadurch Arbitrage-Möglichkeiten gegenüber US-Unternehmen bekommen.
    • Ich frage mich, ob mit „westliche Regierungen“ konkret die USA gemeint sind. Es ist unklar, warum andere Länder, die China nicht so stark fürchten wie die USA, sich darüber in gleicher Weise Sorgen machen sollten.
    • Selbst 8×RTX Pro 6000 haben nur 768 GB VRAM, daher ist mir unklar, wie man K3 damit betreiben soll.
  • Ich habe die Aufgabe, die ich sonst mit allen Modellen teste, Kimi K3 gegeben, und es hat deutlich länger darüber nachgedacht und fast das gesamte 5-Stunden-Kontingent des 19-Dollar-Tarifs aufgebraucht. Im OpenAI-20-Dollar-Tarif dauert dieselbe Aufgabe nur wenige Minuten und verbraucht kaum Nutzungsvolumen
    Abolimits liefern keine mit Tokens vergleichbare Kennzahl und sind daher schwer zu messen, aber es war das erste Abo um 20 Dollar, das so knapp war, dass schon eine kleine Aufgabe das Kontingent für die eigentliche Arbeit auffraß. Es war langsam und wirkte pro Aufgabe teuer, hat aber den von Gemini 3.5 Flash frei erfundenen Bug gefunden

    • Kimi neigt dazu, ständig an sich selbst zu zweifeln und übermäßig lange nachzudenken. Es wiederholt Absätze wie „Moment, eigentlich …“ über ein kleines Detail und verbraucht dabei viele Tokens
      Als ich GLM 5.2 etwa 50 Zeilen JavaScript nach Python portieren ließ, wiederholte es Websuche und Überprüfung und verbrauchte 0,25 Dollar an API-Kosten; der erste Lauf scheiterte, beim zweiten funktionierte es. Claude Code/Fable war viel schneller, machte aber denselben Fehler, und ich hoffe, dass diese übermäßige Selbstprüfung offener Modelle abnimmt oder sich die Prompting-Methoden verbessern
    • Wir sollten aufhören, den Preis pro Million Tokens als Maßstab zu nehmen. Die tatsächlich verbrauchten Tokens beeinflussen die Kosten stärker als der angezeigte Tokenpreis; entscheidend ist also die Kurve der Kosten pro Aufgabe im Verhältnis zur Intelligenz
      Chinesische Modelle erreichen diesen Maßstab noch nicht und scheinen eher auf maximale Benchmark-Werte als auf Effizienz ausgerichtet zu sein
    • Kimi K3 unterstützt die Reasoning-Stufe derzeit nur mit max, andere Stufen sollen aber bald folgen. In den Benchmark-Trace-Logs sah man viele Rücksprünge und Unsicherheiten wie „Moment, aber …“, und bei GPT 5.6 und Fable mit xhigh bzw. max war Ähnliches zu sehen, wenn auch schwächer ausgeprägt
      Wenn niedrigere Reasoning-Stufen unterstützt werden, könnte sich die Token-Effizienz verbessern
      https://platform.kimi.ai/docs/guide/use-thinking-effort
    • Als ich Claude Code/Fable eine Funktion implementieren ließ, verbrauchte es in etwa 60 Minuten 30 % einer 5-Stunden-Session des 100-Euro-Abos. Danach führte ich in einer sauberen Session in einem separaten Terminal nur /code-review aus, doch ohne Codeänderungen schoss der Verbrauch auf 99 %, und mit dem verbleibenden 1 % konnte nicht einmal review.md geschrieben werden
      Normalerweise verbrauchen Reviews 10–20 %, aber manchmal verschwinden in nur 15 Minuten 65–69 %; die Schwankungen beim Verbrauch sind also sehr groß
    • Die Preise für KI-Abos sind merkwürdig. Je nach Modell ist der Verbrauch unterschiedlich, gemessen wird er in intransparenten Tokens, die Interface oder Modell des Anbieters willkürlich verbrauchen, und dazu kommen noch undurchsichtige Limits in Zeitfenstern
  • Im kostenpflichtigen Kimi-Tarif gibt es die Kontextlänge von 1 Million Tokens erst ab 79 Dollar pro Monat; darunter ist sie auf 256.000 Tokens begrenzt. Im günstigsten Tarif von derzeit 15 Dollar pro Monat bei jährlicher Zahlung wird K3 selbst derzeit nicht unterstützt
    https://www.kimi.com/code/docs/en/kimi-code/models.html

    • Ich würde zwar gern nur die API nutzen, aber bei DeepSeek ist die Kombination aus Reasonix/whale-Tools und hoher Cache-Trefferquote praktisch fast kostenlos, daher dürfte ein Wechsel zu einem anderen Dienst nicht leicht sein
  • Ich sehe es eher umgekehrt. Kimi K3 hat 2,8 Billionen Parameter, und auch wenn die Größen von ChatGPT 5.6 oder Opus 4.8 nicht offengelegt sind, dürften sie ähnlich sein; über Fable und Mythos gibt es Gerüchte von etwa 10 Billionen
    Der Ein-/Ausgabepreis pro Million Tokens liegt bei K3 bei 3 bzw. 15 Dollar, bei ChatGPT 5.6 Sol bei 5 bzw. 30 Dollar und bei Opus 4.8 bei 5 bzw. 25 Dollar, also ist der Unterschied nicht groß. Es wirkt weniger wie ein historischer Wendepunkt, sondern eher wie Wettbewerber, die bei ähnlicher Leistung zusammenlaufen und es etwas billiger verkaufen. Da die K3-Gewichte derzeit ebenfalls nicht offen sind, dürfte sich daran kaum etwas ändern

    • Laut der offiziellen Ankündigung sollen die vollständigen Modellgewichte bis zum 27. Juli 2026 veröffentlicht werden
    • Wenn man auch berücksichtigt, dass OpenAI das 5-Stunden-Limit abgeschafft und das Wochenlimit häufig zurückgesetzt hat, ist fraglich, ob Kimi beim effektiven Preis wirklich günstiger ist
  • Auch in diesem Thread gehen die Meinungen über den praktischen Nutzen von Kimi auseinander. Ich persönlich halte es für schwächer als Fable und 5.6 Sol, aber im Mittelpunkt der Diskussion scheint eher die Gegenreaktion auf das regulatorische Vorgehen der US-Regierung zu stehen als die Leistung selbst
    Wegen der Wut und Frustration über die aktuelle Lage scheint auch der Wunsch, dass Kimi besser sein möge, mitzuwirken

    • K3 ist ziemlich gut und würde ich zwischen Sol und Fable einordnen. Sols Fähigkeit beim UI-Design ist nicht beeindruckend, aber K3 ist in diesem Bereich stark, und Fable liefert insgesamt die schnellste und konsistenteste Leistung
      Es hängt stark von der Art der Aufgabe und der Nutzung ab, aber die Einschätzung, dass K3 nicht auf dem Niveau der führenden US-Modelle ist, deckt sich nicht mit meiner Nutzungserfahrung
    • Das wirkt wie eine Wiederholung von DeepSeek. Als v3 erschien, hieß es auch überall, die US-Unternehmen seien erledigt, doch am Ende lief alles weiter wie zuvor
    • Ich habe unzählige Male gehört, dass Frontier-Modelle den Open-Weights-Modellen mehr als sechs Monate voraus seien, aber das stimmt inzwischen nicht mehr. Deshalb verschieben sich jetzt die Bewertungskriterien
    • Was die US-Regierung dieses Jahr im Zusammenhang mit KI getan hat, ist schwer hinzunehmen, daher ist eine solche Reaktion auch nachvollziehbar
  • Hier sollte klarer gesagt werden, ob mit „Claude“ Opus oder Fable gemeint ist und auf welcher Stufe die Reasoning-Intensität stand

    • Die Aussage, man merke bei „alltäglichen Coding-Aufgaben“ keinen Unterschied, klingt so, als seien Aufgaben vergeben worden, die man selbst nicht gut genug verstand, um die Ergebnisse unterscheiden zu können
    • Verglichen wurden Fable High und K3 High, der Hauptanwendungsfall war Spieleentwicklung. Es ging um das Beheben vager visueller Bugs, Änderungen am Aussehen von Szenen oder Modellen und das Hinzufügen größerer Funktionen
      Die ursprüngliche Formulierung war ungenau; ich nutze Fable oder K3 die meiste Zeit nicht und lasse normalerweise eher kleinere Aufgaben erledigen, die ich anschließend selbst prüfe
  • Auch die Datenschutzrichtlinie ist kein kleines Problem. Bei einem Kimi-Abonnement werden Interaktionen fürs Modelltraining verwendet; nur bei direkter API-Nutzung zum API-Preis würden sie laut eigener Aussage nicht verwendet. Ob man dem vertraut, ist eine andere Frage
    Ich will abwarten, bis bei OpenRouter andere Anbieter auftauchen, und dann ihre Vertrauenswürdigkeit beurteilen. Selbst wenn ich ihnen nicht besonders vertraue, ist die Wahrscheinlichkeit geringer, dass Daten fürs Training verwendet werden, wenn der Anbieter das Modell nicht selbst trainiert

    • Diese Sorge wirkt zunehmend lächerlich. Die meisten Eingaben bestehen ohnehin nur aus Ausgaben, die dasselbe Modell zuvor erzeugt hat, und aus schlampig geschriebenen menschlichen Anweisungen wie „korrigiere es fehlerfrei“. Wenn künftige Modelle besser werden, ist es also in Ordnung, das fürs Training zu verwenden
      99 % der Nutzer arbeiten nicht mit besonders schützenswertem geistigem Eigentum
    • Selbst wenn alle Hobby-Nutzer Open-Weights-Modelle verwenden, wird der Unternehmensmarkt ohne Datenspeicherung US-Unternehmen weiterhin genügend Geschäftsmöglichkeiten bieten
    • Diese Richtlinie ist ein Ausschlussgrund. Ich werde warten, bis dank Open Weights Dienste unabhängiger Anbieter entstehen
  • Letztlich war bisher sowieso alles Destillation. Wie Suhail sagte, sollten die Gewinne von AI-Modellen fast auf null sinken
    Sie wurden mit den Daten der Menschheit trainiert, also sollten sie ein Geschenk an die Menschheit selbst sein; nur so lässt sich verhindern, dass wenige Menschen die Menschheit kontrollieren

    • Es ist lächerlich, Chinas große Modelle noch immer nur als „destillierte Versionen“ zu sehen. Viele erkennen noch nicht die Welle, die die führenden US-Forschungslabore überrollen wird, die mit riesigen Datenmengen Nutzer an zensierte und in ihrer Leistung begrenzte Modelle binden wollten
  • Open-Source-Modelle haben bereits das Niveau der besten kommerziellen Modelle erreicht. Der letzte Engpass ist Hardware, aber auch diese Hürde sinkt schnell
    Kimi K3 zu Hause zu betreiben ist zwar weiterhin sehr teuer, aber es gibt bereits viele leistungsfähige kostenlose Modelle, die auf angemessener Hardware laufen können, und dieser Trend wird anhalten