Ergebnis: Vier identische Apps mit GPT-5.6, Grok 4.5, Claude und Muse Spark gebaut

 (tryai.dev)
2 Punkte von GN⁺ 3 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Bei der Aufgabe, mit 12 Modellen ein Raycaster-Labyrinth, einen 3D-Rubik’s-Cube, einen Taschenrechner und Conway’s Game of Life zu bauen, teilten sich GPT-5.6 Sol und Claude Fable 5 die Spitzenposition bei komplexen Aufgaben
  • Jedes Modell bekam pro Aufgabe 5 Versuche; Erfolgszahlen, Kosten, Zeiten und alle Ergebnisse wurden veröffentlicht. Einschränkung: Es handelt sich nicht um eine wissenschaftliche Bewertung, sondern um einen subjektiven Vergleich anhand der direkt betrachteten Outputs
  • Beim Raycaster erreichte GPT-5.6 Sol 5/5, beim Rubik’s-Cube Claude Fable 5 ebenfalls 5/5, während Claude Opus 4.8 und GPT-5.6 Luna beim Cube nur 0/5 erzielten – die Unterschiede je nach Modell und Aufgabe waren groß
  • Open-Weight-Modelle lagen bei komplexen oder neuartigen Aufgaben hinter den Topmodellen zurück, lieferten aber bei Game of Life, für das es viel Beispielcode gibt, mit Qwen 3.7 Plus und GLM-5.2 zu deutlich niedrigeren Kosten gute Ergebnisse
  • Grok 4.5 war in einigen Aufgaben eine günstigere Alternative auf dem Niveau von Claude Opus 4.8, und auch Muse Spark 1.1 schnitt insgesamt besser ab als Open-Weight-Modelle; das neueste und teuerste Flaggschiff gewinnt aber nicht automatisch jede Aufgabe

Vergleichsmethode und 12 Modelle

  • Als Reaktion auf Feedback zu einem früheren Vergleich wurde der Umfang auf 12 Modelle · 4 Apps · 5 Versuche pro Aufgabe erweitert
  • Auf das Feedback hin, dass ein einzelnes Ergebnis schwer zu bewerten ist, wurden pro Aufgabe Erfolgszahlen und bevorzugte Ergebnisse separat erfasst; außerdem wurden alle Versuche veröffentlicht, damit Schwankungen zwischen Durchläufen sichtbar sind
  • Es handelt sich um einen subjektiven Vergleich der beobachteten generierten Ergebnisse, nicht um eine objektive oder wissenschaftliche Beurteilung

Doom-artiges Raycaster-Labyrinth

  • Die Modelle sollten ein First-Person-Labyrinth mit WASD-Bewegung, Drehung, tiefenabhängiger Wandschattierung, Boden und Decke sowie Kollisionserkennung erstellen
  • Der Erfolg wurde nicht nach visueller Ausarbeitung beurteilt, sondern nur danach, ob man sich tatsächlich im Labyrinth bewegen und drehen konnte
  • GPT-5.6 Sol erreichte 5/5 bei Kosten von $1.35 und 120 Sekunden; es wurde als bestes Ergebnis bewertet, weil es konsistenter als GPT-5.5 war und mehr Details im Spiel bot
    • GPT-5.6 Luna kam ebenfalls auf 5/5, $0.15 und 23 Sekunden, die Ergebnisqualität wurde aber niedriger als bei GPT-5.5 eingeschätzt
    • GPT-5.6 Terra erzielte 3/5, $0.44 und 39 Sekunden; die Details waren gut, aber in einigen Ergebnissen konnte man nicht laufen
  • Grok 4.5 war mit 5/5, $0.27 und 62 Sekunden eine praktische Alternative gemessen am Preis; GPT-5.5 erreichte 4/5, $1.44 und 138 Sekunden
  • Die Claude-Modelle schnitten schlechter ab als erwartet
    • Claude Opus 4.8 war mit 4/5 konsistent, die Ergebnisse waren aber schlicht
    • Claude Fable 5 erzeugte gute Ergebnisse, war mit 3/5 jedoch weniger konsistent
  • Unter den Open-Weight-Modellen erreichten Qwen 3.7 Plus und Kimi K2.6 jeweils 2/5, DeepSeek V4 Pro kam auf 3/5
    • GLM-5.2 renderte zwar einen detaillierten Bildschirm, die Figur bewegte sich aber kein einziges Mal und blieb daher bei 0/5
  • Muse Spark 1.1 kam zwar nur auf 2/5, die funktionierenden Ergebnisse wurden aber als ähnlich gut wie Fable und Sol und besser als Grok und Opus bewertet – ein unerwartet gutes Abschneiden

3D-Rubik’s-Cube

  • Gefordert waren ein farbiger 3D-Cube mit Scramble- und Solve-Buttons sowie sichtbar animierte Drehungen auf dem Bildschirm
  • Als Erfolg zählte nur, wenn Misch- und Lösungsanimationen flüssig funktionierten und es keine Fehler oder Farbänderungen gab
  • Claude Fable 5 war mit 5/5, $2.03 und 92 Sekunden das einzige Modell, das alle fünf Versuche sauber bestand
    • Claude Opus 4.8 hatte in allen Ergebnissen kleine Fehler oder Farbänderungen und blieb bei 0/5
  • GPT-5.6 Sol und Terra erreichten jeweils 4/5
    • Sol lieferte bei den funktionierenden Ergebnissen gute Qualität, hatte aber auch seltsame Animationen und ein Ergebnis, das komplett schwarz gerendert wurde
    • Bei Terra war die Scramble-Animation merkwürdig, es war aber etwas besser als GPT-5.5
    • Luna wirkte zunächst oft korrekt, zerbrach aber sofort beim Start des Scramblings und kam auf 0/5
  • GPT-5.5 erreichte 4/5, hatte aber Farbflackern und wenig geschmeidige Drehungen; Grok 4.5 kam mit einfachen, aber guten Ergebnissen auf 3/5
  • Qwen 3.7 Plus, Kimi K2.6 und DeepSeek V4 Pro erreichten jeweils 1/5, GLM-5.2 kam auf 0/5
  • Muse Spark 1.1 lag mit 2/5 eine Stufe über den Open-Weight-Modellen, wurde angesichts des Preises aber als weniger attraktiv als Grok bewertet
  • Während die GPT-Familie, die beim Raycaster vorne lag, schwächer abschnitt als erwartet, führte Claude mit Fable das Feld an – eine Umkehr je nach Aufgabe

Taschenrechner

  • Gefordert waren Ziffern-, Operator-, Reset- und Gleichheitsbuttons, korrekte Operatorpriorität und ein Erscheinungsbild wie bei einem echten Taschenrechner
  • Mit einfachen Berechnungen wie (((5 × 5) − 100) / 10) wurden Reihenfolge der Operationen und Ergebnis-Rendering geprüft; es war kein umfassender Funktionstest
  • Claude Opus 4.8 und Claude Fable 5 erreichten beide 5/5
    • Fables Ergebnisse wurden stilistisch am meisten bevorzugt
  • Grok 4.5 kam mit einfachen und konsistenten Ergebnissen auf 5/5, und GPT-5.6 Luna bot mit ebenfalls 5/5 ein ähnliches Erlebnis wie Grok
  • GPT-5.6 Sol erreichte zwar 5/5, versuchte aber übermäßiges Styling und 3D-Darstellungen, was das saubere und konsistente Taschenrechner-Erlebnis beeinträchtigte
    • GPT-5.6 Terra und GPT-5.5 erzielten jeweils 4/5; GPT-5.5 erzeugte teils unnötige Buttons oder abgeschnittene 3D-Darstellungen
  • Muse Spark 1.1 erreichte 5/5 und lag ungefähr auf dem Niveau von Grok 4.5, allerdings waren Button-Reihenfolge und Layout in einigen Ergebnissen ungeschickt
  • Bei den Open-Weight-Modellen erreichte Qwen 3.7 Plus 4/5 bei $0.04 und 12 Sekunden, ein Ergebnis konnte jedoch keine negativen Zahlen verarbeiten
    • DeepSeek V4 Pro kam auf 3/5, mit Fehlern in der Zahlenreihenfolge und fehlender Ergebnisanzeige
    • GLM-5.2 erreichte 2/5, die Qualität der erfolgreichen Ergebnisse war aber gut
    • Kimi K2.6 wurde mit 0/5 gewertet, weil negative Zahlen nicht verarbeitet wurden
  • Einfache GPT-Modelle funktionierten ohne zusätzliche Korrekturen direkt; Implementierungen mit Fokus auf Grundfunktionen boten ein besseres Erlebnis als Ergebnisse mit komplexen visuellen Effekten

Conway’s Game of Life

  • Umgesetzt werden sollten ein Raster-Canvas, Play, Pause, Step, Randomize, Clear, Zellumschaltung per Klick und Generationenanimation
  • Für diese Aufgabe wurde keine separate 5-Versuche-Erfolgswertung angewendet; verglichen wurden nur Kosten, Zeit und der Gesamteindruck
  • Grok 4.5 lieferte gute Ergebnisse; da die Aufgabe selbst einfach ist und es reichlich öffentlichen Beispielcode gibt, schnitten auch Open-Weight-Modelle sehr gut ab
  • Qwen 3.7 Plus wurde mit $0.04 und 11 Sekunden, GLM-5.2 mit $0.10 und 121 Sekunden als gut und kostengünstig für diesen Aufgabentyp bewertet
  • Da Open-Weight-Modelle bei anderen, komplexeren Aufgaben weiterhin Schwierigkeiten hatten, lassen sich die Ergebnisse bei Game of Life nicht ohne Weiteres auf die allgemeine Leistung übertragen
  • Die übrigen wichtigen Kosten- und Zeitwerte: Grok 4.5 $0.14 · 38 Sekunden, GPT-5.6 Luna $0.13 · 18 Sekunden, Terra $0.36 · 25 Sekunden, Sol $0.99 · 62 Sekunden, Muse Spark 1.1 $0.32 · 98 Sekunden

Geschwindigkeit und Kosten bei kurzen Antworten

  • Bei kurzen Prompts verzeichnete die GPT-5.6-Familie die schnellste Zeit bis zum Antwortbeginn
    • Luna: 1.0 Sekunden · 97 tok/s · $0.001
    • Terra: 1.5 Sekunden · 62 tok/s · $0.001
    • Sol: 1.8 Sekunden · 45 tok/s · $0.003
  • Qwen 3.7 Plus war mit 2.1 Sekunden · 204 tok/s · $0.001 sehr günstig und schnell; Grok 4.5 kam auf 3.0 Sekunden · 112 tok/s · $0.003, Muse Spark 1.1 auf 3.1 Sekunden · 125 tok/s · $0.002
  • Claude Opus 4.8 lag bei 2.5 Sekunden · 44 tok/s · $0.004, während Claude Fable 5 mit 6.6 Sekunden · 30 tok/s · $0.01 langsamer und teurer war
  • DeepSeek V4 Pro mit 9.3 Sekunden · 37 tok/s · $0.001 und GLM-5.2 mit 7.0 Sekunden · 58 tok/s · $0.001 hatten einen langsamen Antwortbeginn
  • Einige Open-Weight-Modelle gaben die gesamte Antwort auf einmal aus und erreichten das 400-Token-Limit; die angegebenen tok/s sind daher nicht die tatsächliche Dekodiergeschwindigkeit, sondern ein Grenzwert

SVG-Bonusaufgabe

  • Ohne Bibliotheken sollte in einem Durchgang ein SVG erzeugt werden; aus 5 Ergebnissen wurden zuerst gültige SVGs berücksichtigt und dann das detaillierteste Ergebnis ausgewählt
  • Bei der Szene eines Pferds, das einen Astronauten trägt, lieferte Claude Fable 5 ein gutes Ergebnis in Qualität und Humor
    • Die GPT-5.6-Familie blieb hinter den Erwartungen zurück, weil sie Pferd und Astronaut nicht sauber rendern konnte
    • Auch Grok 4.5 erzeugte ein gutes Ergebnis
  • Auch bei der schwierigeren Szene, in der Elon Musk und Jeff Bezos einen Blue-Origin-Booster beobachten, der auf einer Landeplattform im Meer landet, lag Claude Fable 5 vorne
    • Es baute Details wie den glänzenden Bereich auf Bezos’ Stirn und Rauch um die Landeplattform ein und renderte sauber
    • Die GPT-Modelle erzeugten cartoonartige Ergebnisse, wobei in den Outputs jeweils kleine Fehler verblieben
    • GLM-5.2 und Qwen 3.7 lieferten bei dieser SVG-Aufgabe ebenfalls gute Ergebnisse

Modellwahl je nach Aufgabe

  • Bei komplexen und neuartigen Aufgaben wie Raycaster und Rubik’s-Cube war der Vorsprung der Topmodelle deutlich; GPT-5.6 Sol und Claude Fable 5 zeigten jeweils ihre Stärken
  • Bei einfachen und breit implementierten Aufgaben können Qwen 3.7 Plus und GLM-5.2 zu deutlich niedrigeren Kosten wettbewerbsfähige Ergebnisse liefern
  • Grok 4.5 erreichte in einigen Aufgaben das Niveau von Claude Opus 4.8 und eignet sich als ergänzendes Ausführungsmodell, wenn die Kosten wichtig sind
  • Muse Spark 1.1 lag eine Stufe unter Grok 4.5, aber insgesamt über den Open-Weight-Modellen; für eine unmittelbare erste Wahl reichte es jedoch nicht
  • Je nach Aufgabe verschiebt sich die Rangfolge von Sol, Fable, Grok und günstigen Open-Weight-Modellen – das neueste und teuerste Flaggschiff gewinnt nicht immer

Verwandte Beiträge

1 Kommentare

 
GN⁺ 3 시간 전
Meinungen auf Hacker News

  • Formulierungen wie „ein ehrlicher Punkt“ und „keine Fehler, keine Farbänderungen“ sind gute Erkennungsmerkmale. Ich habe es zwar bis zum Ende gelesen, aber es wäre mir lieber gewesen, wenn es von einem Menschen geschrieben worden wäre

    • Ich habe das Gefühl, bei Anthropic höre ich das Wort „Honestly“ häufiger als von allen anderen Menschen zusammen
    • Kann man diese neue, LLM-typische Sprache nicht in einen anderen Transformer stecken, um diese nervigen Sätze zu entfernen? Das dürfte nicht schwer sein und wäre für alle ein Gewinn

  • Ich erkenne an, dass der Beitrag mit viel Mühe gut gemacht ist, aber bei Absätzen wie den folgenden verliere ich die Sympathie für den ganzen Text
    „Ich habe für jede Frage eine separate Tabelle verwendet. Das ist kein Build-Task, sondern ein standardisiertes Latenz-Testwerkzeug …“, „Daher sind Tokens pro Sekunde eine Obergrenze und nicht die tatsächliche Decoding-Geschwindigkeit …“
    War es wirklich so schwer, diese beiden Sätze in der eigenen natürlichen Stimme selbst zu schreiben?

    • Ich weiß nicht, woher dieser eigentümliche Stil kommt, und er lässt sich fast nicht loswerden, was extrem nervt
    • Er ist viel zu offensichtlich und unangenehm. Man sollte einfach wie ein normaler Mensch direkt schreiben, was man sagen will
      Texte mit AI zu erzeugen ist nicht nur faul, sondern auch flach und langweilig, und es respektiert die Zeit der Leser nicht
    • Nur der Diskussion halber: Was, wenn das wirklich die natürliche Schreibweise des Autors ist?
    • Ich habe schon lange vor LLMs gelegentlich so geschrieben. Solche Vorwürfe zu lesen, geht mir inzwischen auch gewaltig auf die Nerven
    • Seit dem Aufkommen von AI sind die Leute viel zu empfindlich geworden. Im Grunde wird hier ein Programmierer dafür kritisiert, dass er keine Prosa nach dem Geschmack anderer schreibt

  • Vielleicht bin ich einfach zu kontrollierend veranlagt, aber einen Agenten eine zufällige App in einem Rutsch fertigstellen zu lassen, hat überhaupt nichts damit zu tun, wie man AI in echter Softwareentwicklung einsetzt

    • Für Solo-Creator sind One-Shot-Benchmarks ziemlich nützlich. Sie korrelieren einigermaßen damit, ob ein besseres State-of-the-Art-Modell – in meinem Fall Opus und Fable – auch bei nicht explizit spezifizierten Punkten bessere Entscheidungen trifft und von Anfang an bessere Vorschläge macht
    • Auf der Zeitskala von LLMs können Modelle schon seit ziemlich langer Zeit gut neue Apps erzeugen
      Interessant ist zwar auch, wie sie neue Apps besser bauen, aber viel spannender finde ich, wie sie schwierige Probleme in einer komplex verwobenen bestehenden Codebase lösen
    • Eine naheliegende Methode zur Bewertung von Architektur und Wartbarkeit wäre, erst eine Basis-App in einem Durchgang erstellen zu lassen und danach Feature-Requests einzeln hinzuzufügen
    • Es entspricht nicht der realen Nutzung, aber nur so kann man auf Twitter/X bekannt werden
    • Auch wenn es nicht der realen Nutzung entspricht, ist es immerhin der Versuch, in diesem Bereich etwas objektive Messkriterien einzuführen, statt sich nur auf Bauchgefühl zu verlassen

  • (LM)Arena erfüllt im Grunde diese Rolle und ist meiner Ansicht nach einer der besten Tests, um eine übermäßige Optimierung nur auf Benchmark-Scores zu vermeiden
    Agent: https://arena.ai/leaderboard/agent
    Webentwicklung: https://arena.ai/leaderboard/code/webdev
    Aktuell liegen bei Webentwicklung Fable und 5.6 Kopf an Kopf, was fast genau dem Ergebnis dieses Beitrags entspricht

    • Wenn man es darauf anlegt, ist auch bei Arena ein gewisses Score-Tuning möglich. Die Prompt-Verteilung dort unterscheidet sich deutlich von der realen Nutzung durch normale Entwickler, insbesondere gibt es viele Anfragen, bei denen Spiele von Grund auf in einem Rutsch gebaut werden sollen
      Wenn man ein Coding-Modell speziell darauf feinabstimmt, mit unzureichenden Prompts auf Anhieb unterhaltsame Spiele zu bauen, kann seine Leistung besser aussehen als seine Fähigkeiten bei allgemeinen Aufgaben. Ich arbeite bei OpenAI, aber wir versuchen nicht, Scores aufzublähen, weil Arena dadurch für alle zu einer schlechteren Kennzahl würde
    • Besonders rund um Facebook gibt es ziemlich viel Arena-Score-Tuning, aber ich stimme trotzdem zu, dass es unter den realen Benchmarks zu den besseren gehört
      Es macht immer Spaß, klassische Demoscene-Effekte nachbauen zu lassen. Musikgenerierung ist noch miserabel, aber Claude scheint zumindest einen ordentlichen Synthesizer zu bauen. Selbst wenn man versucht, die Fluid- und Partikeleffekte von Agenda Circling Forth mit Implementierungsbeschreibung und Screenshots reproduzieren zu lassen, klappt es immer noch nicht gut
    • Ich frage mich, warum Grok 4.5 noch nicht in der Liste steht. Das später veröffentlichte 5.6 ist schon drin

  • Solche visuellen Benchmarks zeigen vermutlich stärker Wissen – also wie umfassend die Trainingsdaten sind und wie gut das Modell sie abrufen kann – als echtes Schlussfolgern
    Ich weiß nicht, wie ein Modell ohne erhebliches Vorwissen eine Chain of Thought (CoT) konstruieren könnte, die die Geometrie und Animation eines Würfels einer Darstellung im Latent Space zuordnet

    • Gibt es Belege dafür, dass LLMs tatsächlich neue Schlussfolgerungsfähigkeiten besitzen? Ich habe es auf keine Weise zum Laufen gebracht, und das frühere Apple-Paper war meiner Ansicht nach ein starker Hinweis darauf, dass es diese Fähigkeit nicht gibt
      Nach meiner Erfahrung scheitert Schlussfolgern vollständig und geradezu lächerlich, wenn der Latent Space dünn besetzt ist
    • Anthropic könnte bei solchen Tests dank der von Canva erhaltenen Daten im Vorteil sein

  • Wir haben heute ebenfalls GPT 5.6 Sol, Terra und Luna zu unserer Model Arena hinzugefügt, in der 26 Modelle jeweils 52 Apps erstellt haben
    https://arena.logic.inc/
    Es ist sehr interessant, die Apps der drei Modelle nebeneinander zu vergleichen. Wir müssen der UI noch Statistiken hinzufügen, aber die tatsächliche verstrichene Zeit von Terra lag bei der Hälfte von Sol, während Luna sogar etwa 23 % länger brauchte als Sol
    Auch wenn Luna deutlich günstiger ist, scheint Terra für die meisten Einsatzzwecke die bessere Balance aus Zeit und Kosten zu bieten. Die Qualität von Terra liegt insgesamt fast auf Sol-Niveau, ist aber deutlich schneller und günstiger. Den Designgeschmack von Sol bei Dingen wie einem Audio-Sequencer schätze ich allerdings sehr. Eine Zeit lang sahen die visuellen Ergebnisse aller Modelle ähnlich aus; in dieser Hinsicht ist es seit Langem wieder ein Modell mit klarer Differenzierung

    • Die auffälligen Zahlen sind, dass GPT-5.6 Sol 1.264 Codezeilen, 35,5 KB Dateien und 10,0 KB gzip erzeugte, während GPT-5.6 Terra bei 827 Zeilen, 20,0 KB und 6,7 KB gzip lag

  • Das wirkt wie ein Ergebnis, das die Kritik stützt, dass Modelle wie GLM übermäßig auf Benchmarks optimiert sind und den Spitzenmodellen nicht so nahe kommen, wie man allein anhand der Zahlen denken könnte

  • Diese Methodik zur AI-Bewertung gefällt mir deutlich besser als andere Benchmarks
    Die reale Welt ist komplex, und andere Benchmarks sind offensichtlich leichter von chinesischen Open-Source-Modellen zu knacken. Auch der Schreibstil stört mich nicht; der Text ist gut lesbar

  • Kürzlich erschienener verwandter Beitrag: Vergleich, bei dem Grok 4.5, GPT-5.5 und Claude dieselbe App bauen sollten
    https://news.ycombinator.com/item?id=48838772 — Juli 2026, 92 Kommentare

  • Der exakte Prompt fehlt, weshalb es schwierig ist, das nachzustellen
    Mich würde auch interessieren, wie der Prompt formuliert war. Das könnte ein wichtiger Grund dafür sein, warum einige Modelle wie GLM 5.2 beim SVG-Rendering komplett gescheitert sind