Was man aus Kimi K3 und dem Pelikan-Benchmark immer noch lernen kann

 (simonwillison.net)
1 Punkte von GN⁺ 3 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Das von Moonshot AI vorgestellte Kimi K3 ist das leistungsstärkste Modell des Unternehmens mit 2,8 Billionen Parametern, ist auf der Website und per API verfügbar, und die offenen Gewichte sollen bis zum 27. Juli 2026 veröffentlicht werden
  • In den eigenen Benchmarks lag es meist vor Claude Opus 4.8 max und GPT-5.5 high, aber hinter Claude Fable 5 und GPT-5.6 Sol; in der Arena.ai Frontend Code arena erreichte es Platz 1
  • Mit $3 pro 1 Million Eingabetoken und $15 pro 1 Million Ausgabetoken ist es das teuerste Modell eines chinesischen KI-Forschungslabors; für die Erzeugung eines einzigen Pelikan-SVGs fielen 16.658 Ausgabetoken, darunter 13.241 Reasoning-Token, und $0.25 an
  • Der Test mit einem Pelikan-SVG auf einem Fahrrad misst heute wichtige Agent-Tool-Calls oder die Zuverlässigkeit von Tool-Nutzung in langen Gesprächen nicht und eignet sich daher nicht für einen umfassenden Leistungsvergleich zwischen Modellen
  • Führt man denselben einfachen Prompt dennoch selbst aus, lassen sich API-Zugänglichkeit und Kosten, Reasoning-Umfang, SVG-Gültigkeit, räumliches Verständnis, Vision-Leistung und generationsübergreifende Verbesserungen innerhalb einer Modellfamilie schnell prüfen

Vorstellung und Leistung von Kimi K3

  • Moonshot AI hat Kimi K3 als sein leistungsstärkstes Modell mit 2,8 Billionen Parametern vorgestellt
    • Es ist auf der Website und per API verfügbar
    • Die offenen Gewichte sollen bis zum 27. Juli 2026 veröffentlicht werden
  • K3 wird als erstes „offenes Modell der 3T-Klasse“ bezeichnet, wobei 2,8 Billionen auf 3 Billionen aufgerundet werden
    • Das zuvor als größtes Modell genannte DeepSeek V4 Pro hat 1,6 Billionen Parameter
    • K3 ist mehr als doppelt so groß wie Kimi K2.6 mit 1 Billion Parametern
  • In den eigenen Benchmarks lag es meist vor Claude Opus 4.8 max und GPT-5.5 high, aber hinter Claude Fable 5 und GPT-5.6 Sol

Externe Bewertungen und Preise

  • In einer Bewertung von Artificial Analysis für nicht öffentliche Long-Horizon-Knowledge-Aufgaben erreichte es insgesamt Elo 1.547
    • Das sind 732 Punkte mehr als Kimi K2.6
    • Damit liegt es hinter Claude Fable 5 auf Platz 2
  • Die Kosten pro Aufgabe liegen bei $0.94 und sind damit ähnlich wie bei GPT-5.6 Sol mit $1.04
    • Gegenüber Claude Opus 4.8 mit $1.80 ist das etwa halb so viel
    • Es ist jedoch teurer als andere Open-Weight-Modelle
  • Im Artificial Analysis Intelligence Index sank der Verbrauch an Ausgabetoken gegenüber K2.6 um 21%
  • In der Arena.ai Frontend Code arena überholte es Claude Fable 5 und erreichte Platz 1
  • Der API-Preis beträgt $3 pro 1 Million Eingabetoken und $15 pro 1 Million Ausgabetoken
    • Das entspricht dem Niveau der Anthropic-Claude-Sonnet-Familie
    • Es ist das teuerste veröffentlichte Modell eines chinesischen KI-Forschungslabors
    • Gegenüber Kimi K2.6 mit $0.95/$4 ist das ein deutlicher Preisanstieg

Experiment zur Erzeugung eines Pelikan-SVGs

  • Mit OpenRouter und dem llm-openrouter-Plugin wurde der Prompt Generate an SVG of a pelican riding a bicycle ausgeführt
  • Im Erzeugungsprozess wurden 95 Eingabetoken und 16.658 Ausgabetoken verwendet
    • Davon waren 13.241 Reasoning-Token
    • Die Gesamtkosten betrugen $0.25
  • Da auch Bildeingaben unterstützt werden, wurde auf das erzeugte SVG ein Alt-Text-Prompt angewendet
    • Das Analyseergebnis erkannte korrekt einen weißen Pelikan mit rotem Schal, ein rotes Fahrrad, Fahrbahnmarkierungen und Bewegungsanzeichen sowie Himmel, Wolken, Sonne, Vögel, Gras und Blumen
    • Für die Bildanalyse fielen 822 Eingabetoken, 243 Ausgabetoken und $0.006 an

Grenzen als umfassender Benchmark

  • Der SVG-Test mit einem Pelikan auf einem Fahrrad begann vor 21 Monaten als scherzhafte Satire auf die Schwierigkeit des Modellvergleichs, zeigte aber im ersten Jahr eine überraschend hohe Korrelation mit der tatsächlichen Modellqualität
  • Inzwischen ist diese Korrelation weitgehend verschwunden
    • Die von GPT-5.6 und Claude Fable 5 erzeugten Pelikane sind schlechter als das Ergebnis von GLM-5.2
    • Dennoch ist GLM-5.2 kaum als Modell auf dem Niveau von Claude Fable einzustufen
  • Es gibt keine sichere Erkenntnis, dass Labore ihre Modelle gezielt auf diesen Test trainiert haben
    • Hätten sie ihn tatsächlich optimiert, müssten die Ergebnisse deutlich besser sein
    • Möglich bleibt aber, dass Gemini allgemein auf Kombinationen wie „Tiere auf Fahrzeugen“ optimiert wurde
  • Die größte Grenze ist, dass der Test die heute wichtigen Agent-Tool-Calls überhaupt nicht bewertet
    • Auch die Fähigkeit, Tools in längeren Gesprächen stabil zu nutzen, wird nicht gemessen
    • Deshalb sollten Pelikan-Ergebnisse nicht für umfassende Leistungsvergleiche zwischen Modellen verwendet werden

Ein Experiment, das zur direkten Ausführung zwingt

  • Der Pelikan-Test fungiert als Zwangsmechanismus, der dazu bringt, ein neues Modell tatsächlich aufzurufen
    • Wenn ein Ergebnis vorliegt, bedeutet das zumindest, dass der Prompt erfolgreich ausgeführt wurde
    • Gibt es eine offizielle API, wird diese verwendet
    • Open-Weight-Modelle, die klein genug für ein 128GB M5 MacBook Pro sind, werden lokal mit llama.cpp, LM Studio und Ollama ausgeführt
    • Da sich offizielle API-Proxys ohne neuen API-Key nutzen lassen, wird häufig OpenRouter verwendet
  • Die meisten Ergebnisse werden mit dem LLM-CLI-Tool erzeugt; dabei zeigt sich auch, ob ein Plugin das neueste Modell bereits unterstützt
  • Schon ein einzelner SVG-Prompt kann Eigenschaften eines Modells bei Kosten, Reasoning-Verhalten und Eingabeverarbeitung sichtbar machen

Eigenschaften, die Kimi K3 zeigt

  • Derzeit gibt es für K3 nur eine einzige Reasoning-Stufe, max; um eine Antwort mit 3.417 Token zu erzeugen, wurden 13.241 Reasoning-Token verbraucht
    • Schon die einfache Pelikan-Erzeugung kostet damit $0.25 und ist spürbar teuer
  • Dass der kurze Prompt mit 95 Eingabetoken berechnet wurde, deutet auf versteckte Eingaben hin
    • Der OpenAI-Tokenizer berechnet denselben Prompt mit 10 Token
    • Der Anthropic-Token-Rechner kommt bei Opus 4.6 auf 10 Token, bei Opus 4.7 auf 30 Token und bei Sonnet 5/Fable 5 auf 25 Token
    • Selbst hi wurde bei K3 mit 86 Token gezählt, was auf einen versteckten Systemprompt von etwa 85 Token hindeutet
    • K3 verweigerte die Offenlegung dieses Systemprompts
  • Die Qualität des Alt-Texts aus der Analyse des erzeugten SVGs zeigt, dass die Vision-Funktion gut arbeitet
  • K3 hat zwar nur eine einzige Reasoning-Stufe, bei anderen Modellen lässt sich derselbe Prompt aber auf mehreren Stufen ausführen, um die Auswirkungen schnell zu vergleichen

Was der Pelikan-Test immer noch verrät

  • Er lässt sich als „Hello World“-Übung zum Senden eines Prompts an ein neues Modell nutzen
  • Kosten und Reasoning-Umfang für eine einfache Aufgabe lassen sich grob abschätzen
  • Es lässt sich prüfen, ob ein gültiges SVG ausgegeben wird und wie gut das grundlegende geometrische und räumliche Verständnis ist
    • Gerade bei kleinen Modellen, die auf einem Laptop laufen, ist diese Fähigkeit wichtiger
  • Innerhalb derselben Modellfamilie sind Vergleiche zwischen Releases weiterhin sinnvoll
    • Der Pelikan von K3 ist klar verbessert gegenüber Kimi 2.5
  • Man kann teilen, dass man das Modell selbst ausprobiert hat; auf Hacker News ist es fast schon Tradition, in Kommentaren zu neuen Modellen das jeweilige Pelikan-Ergebnis zu posten

Verwandte Beiträge

1 Kommentare

 
GN⁺ 3 시간 전
Meinungen auf Hacker News

  • Der Pelikan-Benchmark zeigt unverändert die Probleme beim Recruiting in der Tech-Branche. Er ist nicht anders als ein Interview, in dem man jemanden einen Pelikan zeichnen lässt und dann dessen Fähigkeiten bewertet, obwohl das mit der tatsächlichen Arbeit nichts zu tun hat.

    • Das sagt jemand, der ganz offensichtlich keine 9 Jahre Erfahrung als 10x-Entwickler im Pelikanzeichnen hat.

  • Dass der Prompt „Erzeuge ein SVG eines Pelikans auf einem Fahrrad“ als 95 Eingabe-Tokens gezählt wurde, könnte daran liegen, dass beim Festlegen einer benutzerdefinierten Reasoning-Intensität vor dem Start-Token ein Prompt für die Reasoning-Intensität eingefügt wird. Auch der Fall des Max-Modus von DeepSeek-V4 ist hier interessant: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • Ich schlage ernsthaft SWE-bench-adversarial-pelican-gen vor. Ähnlich wie SWE-bench, nur dass alle 5 Dialogrunden oder Tool-Aufrufe unterbrochen wird, ein SVG eines zufälligen Tiers erstellt werden muss und danach die Arbeit fortgesetzt wird; außerdem werden in Tool-Ausgaben überall Kommentare zu Pelikan-SVGs eingestreut.
    Wenn der Kontext 800.000 Tokens erreicht, soll erneut ein Pelikan-SVG erzeugt werden; bewertet werden dann sowohl die Qualität des Pelikans als auch Vollständigkeit und Effizienz der ursprünglichen Aufgabe. Wer auch unter dem Angriff der SVG-Pelikane noch Probleme lösen kann, hat wirklich etwas drauf.

    • Mit Codex ausgeführt dürfte das wahrscheinlich etwa 5 Dollar kosten; es lohnt sich darüber nachzudenken, warum das niemand ausprobieren will.

  • Wie Simon folgert, besteht der Hauptnutzen dieses Benchmarks nicht darin, endgültig festzustellen, welches Modell besser ist, sondern darin, das Verhältnis von Qualität, Kosten und Geschwindigkeit zu betrachten. Ein kurzer Vergleich von Opus, Fable und Kimi zeigte kürzlich: Kimi war 5-mal günstiger, aber 2-mal langsamer.
    https://9gpyw4uxr2.evvl.io/

    • Die drei Ergebnisse in der Mitte sehe ich als typisches Gemini/Google-artiges Scheitern, bei dem mehr erzeugt wird, als der Prompt verlangt hat. Auch K2.6 ist eher ein Grenzfall eines Fehlschlags, weil es kein reines SVG, sondern HTML+CSS+SVG verwendet hat.
      Auch das „Expires in 6 days“ oben rechts auf der Website ist seltsam. Schwer zu verstehen, warum eine Seite mit nur ein paar KB Daten überhaupt ablaufen muss.

  • Es überrascht mich, dass Simon glaubt, diese seien nicht in den Trainingsdaten, obwohl es in Blogs, Foren und auf GitHub Hunderte Pelikane auf Fahrrädern gibt. Unser Firmenblog hat 1.000-mal weniger Traffic als Simons Website, aber nach 6 Monaten sind seine Beiträge LLMs bekannt.

    • Die vorhandenen Pelikanzeichnungen sind immer noch miserabel. Selbst wenn sie in die Trainingsdaten eingehen, helfen sie nicht dabei, bessere Pelikane zu erzeugen; sie könnten die Leistung sogar verschlechtern.
    • Simon hat mehrfach eingeräumt, dass Pelikane wahrscheinlich in den Trainingsdaten enthalten sind, und er hat auch andere Tests, die er nicht veröffentlicht. Er mag Pelikane einfach.
    • Dass Pelikane und Fahrräder jeweils in den Trainingsdaten vorkommen, bedeutet nicht, dass dieser konkrete Benchmark trainiert wurde.
    • Ein Pelikan auf einem Fahrrad ist an sich kein besonders spezielles Motiv. Man kann jedes Modell beliebige Kombinationen als SVG erzeugen lassen, etwa einen Boxkampf zwischen einem Wurm und einem Rotkehlchen, und unabhängig davon, ob es ein Vision-Modell ist, zeigt sich eine starke Korrelation: Je intelligenter das Modell, desto besser das Ergebnis.
      Zuerst fand ich diese Bewertung absurd, aber nachdem ich Kombinationen getestet hatte, die garantiert nicht in den Trainingsdaten sein dürften, habe ich ihre Aussagekraft bestätigt.
    • Das erinnert an die Nachrichtenlage vom letzten Jahr, wonach die Trainingsdaten zur Neige gingen, und daran, wie lächerlich diese Behauptung war.

  • Unsere Antwort auf den Pelikan-Benchmark ist der MacBook-SVG-Benchmark: https://playcode.io/blog/macbook-svg-benchmark

    • Das Ergebnis von Terra xhigh ist wirklich gut.
    • Lustig ist die Stelle, an der Fable 5 so lange nachgedacht hat, dass es sein Ausgabebudget aufgebraucht hatte, bevor die Zeichnung fertig war.

  • Es stört mich weiterhin, dass jedes Modell nur einmal einen Pelikan erzeugt. Dasselbe Modell liefert bei jedem Lauf andere Ergebnisse, daher kann die Auswahl des Ergebnisses beeinflussen, ob man urteilt: „Dieses Modell ist besser“.
    Ich würde gern 8 Läufe pro Modell nebeneinander sehen. Bei zwei ähnlichen Modellen dürfte die Varianz zwischen einzelnen Läufen fast so groß sein wie der Unterschied zwischen den Modellen.

    • Früher habe ich drei Läufe gemacht und dann das beste Ergebnis ausgewählt. Irgendwann möchte ich das automatisieren, sodass ein LLM-Juror aus derselben Modellfamilie das beste Ergebnis auswählt und in die nächste Runde schickt.
      Ich hatte früher auch ein ELO-Bewertungssystem gebaut: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      Der Benchmark selbst wirkt inzwischen etwas angestaubt, aber weil die Ergebnisgalerie stark nachgefragt wird, könnte es sich lohnen, wieder Zeit hineinzustecken.

  • Der Abstand schrumpft. Kimi 3 liegt etwa 3 Monate hinter den US-Modellen und wirkt wie ein Modell auf GPT-5.5-Niveau, das Ende April veröffentlicht wurde.

  • Ich frage mich, wie chinesische Labore mit zwangsläufig deutlich geringeren Rechenressourcen Modelle mit 3 Billionen Parametern trainieren. Wenn der Vorsprung der USA bei Rechenressourcen anhält, wäre es physikalisch schwer vorstellbar, dass China auf Dauer aufholen kann; bisher machen sie es aber gut.

    • Tatsächlich gibt es möglicherweise gar keine nennenswerte Beschränkung beim Zugang zu Rechenressourcen. Chinesische Unternehmen können GPUs in Nachbarländern nutzen, die keinen Exportbeschränkungen unterliegen, etwa Malaysia; ByteDance hat genau das auch öffentlich getan: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Es gibt auch Gerüchte, dass Tencent über Japan Zugriff erhalten hat: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      Man kann sie auch in Singapur kaufen und schmuggeln; außerdem sind KI-spezifische Chips im Vergleich zu Hochleistungs-CPUs und -GPUs relativ einfach zu entwerfen und zu produzieren, sodass es keinen Grund gibt anzunehmen, dass chinesische Eigenentwicklungen dauerhaft zurückliegen. Letztlich können sie dieselben Foundrys nutzen.
    • Gamers Nexus hat ein gutes Video mit Vor-Ort-Recherche in China: https://www.youtube.com/watch?v=1H3xQaf7BFI
      Die unter Exportbeschränkungen fallenden GB202-basierten 5090 und RTX 6000 Pro Blackwell werden bei TSMC gefertigt und anschließend in China verpackt und fertiggestellt; dadurch gibt es von Anfang an große Schlupflöcher. NVIDIA und Vertriebspartner verkaufen in Ländern wie Singapur zudem ohne große Prüfung, und wenn private Kuriere die Karten selbst ins Land bringen, hat der chinesische Zoll keinen Grund, US-Recht auf chinesischem Boden durchzusetzen.
    • Huawei-Ascend-Chips wurden schon vor mehr als 4 Monaten zum Training von DeepSeek v4 eingesetzt, und Huawei hat Kernel mit anderen chinesischen Laboren geteilt. China hat auch eigene DDR5-Foundrys.
    • Nur weil die Parameterzahl gleich ist, sind die Modelle nicht identisch; daher wirkt diese Zahl nicht wie ein Indikator für Qualität oder Rechenbedarf. Für ein gutes Modell braucht es mehr, als einfach nur die Parameterzahl zu erhöhen.
    • China hat enorme, der Öffentlichkeit unbekannte Ölreserven freigegeben und damit die Weltwirtschaft gerettet; es wäre also nicht überraschend, wenn es auch viele versteckte Rechenressourcen gäbe.

  • Interessant ist, dass sich die Pelikanqualität und die allgemeine Modellqualität unterschiedlich entwickeln. Allgemeine Fähigkeiten entstehen im Pretraining, daher hätte ich erwartet, dass hochwertiges Pretraining bessere Pelikane erzeugt und Reinforcement Learning kaum Einfluss auf die Pelikanqualität hat.
    Dass GLM 5.2 besser abschneidet als GPT 5.6 und Claude Fable, passt jedoch nicht zu dieser Hypothese. Mir fällt höchstens ein, dass GLM 5.2 die SVG-Erzeugung separat per Reinforcement Learning trainiert haben könnte und dadurch so gut ist.