Haben AI-Labore ihre Modelle auf den „Pelikan auf dem Fahrrad“ optimiert?

• Der Vergleich von 1.008 SVGs aus 7 Frontier-Modellen ergab keine klaren Belege für pelicanmaxxing, also eine Leistungssteigerung gezielt für den bekannten Prompt
• 48 Prompts aus der Kombination von 8 Tierarten und 6 Fahrzeugen wurden pro Modell 3-mal ausgeführt; GPT-5.6 Luna bewertete dabei jeweils die Konsistenz von Tier, Fahrzeug und Handlung auf einer Skala von 1 bis 5
• Der Pelikan landete unter 8 Tieren auf Platz 6, das Fahrrad unter 6 Fahrzeugen auf Platz 5, und auch die Kombination Pelikan-Fahrrad blieb insgesamt nur auf Platz 42 von 48
• Auch in einer Regressionsanalyse mit Korrektur für den Schwierigkeitsgrad waren die Effekte je Labor statistisch nicht signifikant; selbst der einzig signifikante Fahrradeffekt bei Gemini 3.5 Flash bestand die Korrektur für multiples Testen nicht
• Alle 21 Pelikan-Fahrrad-Bilder zeigten nach rechts, aber auch 60 % aller Bilder hatten dieselbe Richtung; dieses Experiment allein kann daher nicht klären, ob es ein allgemeineres SVGmaxxing bei der SVG-Erzeugung gibt

---

Benchmark „Pelikan auf dem Fahrrad“

• Simon Willison testet seit Jahren bei jeder wichtigen neuen LLM-Veröffentlichung denselben Prompt: „Erzeuge ein SVG eines Pelikans, der Fahrrad fährt“
• Was als spielerischer Test begann, wurde zu einem bekannten inoffiziellen AI-Benchmark, und auch in Hacker-News-Threads zu neuen Modellen erhalten entsprechende Ergebnisse viele Upvotes
• benchmaxxing bezeichnet das Optimieren von AI-Modellen, damit sie in populären Benchmarks hohe Punktzahlen erreichen
• Da die Modellleistung die Wahl der Nutzer beeinflussen kann, wird hier geprüft, ob Labore ihre Modelle gezielt auf genau diesen Test optimieren, also pelicanmaxxing betreiben
• Der Experimentcode und die Datenverarbeitungspipeline sind im GitHub-Repository veröffentlicht

Versuchsaufbau mit 1.008 SVGs

• Aus 8 Tierarten und 6 Fahrzeugen wurden 48 Prompts gebildet
  • Tiere: pelican, flamingo, heron, otter, raccoon, antelope, whale, cat
  • Fahrzeuge: bicycle, unicycle, skateboard, scooter, plane, boat
• In allen Prompts wurden in Simon Willisons Formulierung nur Tier und Fahrzeug ersetzt
• Die Tiere und Fahrzeuge wurden nicht nach einem streng formalen Verfahren ausgewählt, sondern so zusammengestellt, dass Ähnlichkeit zum Original und Schwierigkeitsgrad variieren
  • flamingo und heron ähneln pelican
  • cat, raccoon und otter wurden als einfache Fälle gewählt
  • antelope ist schwierig, und whale ist ein Fall, der sich stark von pelican unterscheidet
• Über OpenRouter wurden die folgenden 7 Modelle getestet
  • GPT-5.6 Terra
  • Claude Sonnet 5
  • Gemini 3.5 Flash
  • Grok 4.5
  • Qwen3.7-Max
  • GLM-5.2
  • DeepSeek V4 Pro
• Für jeden Prompt wurden bei Temperature 1.0 und identischer Reasoning-Einstellung 3 Samples erzeugt, insgesamt also 1.008 SVGs

Pipeline für Rendering, Bewertung und Merkmalsextraktion

• Die generierten Ergebnisse wurden in drei Schritten verarbeitet
  • Rendering: SVGs wurden in PNGs umgewandelt; wenn kein SVG vorlag oder das Rendering fehlschlug, wurde erneut generiert, bis ein gültiges Ergebnis vorlag
    • Bei 1.008 Generierungsvorgängen kam es zu 11 Wiederholungen
  • Bewertung: GPT-5.6 Luna vergab für die Konsistenz von Tier, Fahrzeug und Handlung jeweils 1 bis 5 Punkte
    • Für die Rankings der Tiere und Fahrzeuge wurden die Einzelwerte des jeweiligen Kriteriums genutzt
    • Wenn pro Bild ein einzelner Wert nötig war, wurde der Bewertungswert (judge score) als Mittel der drei Punkte verwendet
  • Merkmalsextraktion: Gemini 3.1 Flash-Lite protokollierte erkanntes Tier und Fahrzeug, Ausrichtung des Motivs sowie Szenenelemente
• Falls ein Labor diesen speziellen Benchmark trainiert hätte, müssten die Pelikan-Zeile, die Fahrrad-Spalte oder die Zelle Pelikan-Fahrrad höhere Werte erhalten als es ihrem eigentlichen Schwierigkeitsgrad entspricht

Unterschiede im visuellen Vergleich

• Es wurden für jedes Modell Gesamtgitter aller Bilder verglichen, aber kein Fall gefunden, in dem Pelikan-Fahrrad-Bilder klar besser waren als andere Ergebnisse desselben Modells
• Das erste Sample von GLM-5.2 wirkte etwas besser, doch im selben Paket entstand auch ein hochwertiges heron-skateboard-Bild, sodass sich das schwer als Ergebnis einer besonderen Optimierung deuten lässt
• Labore, die gute Pelikan-Fahrrad-Bilder erzeugten, zeichneten tendenziell auch andere Tier-Fahrzeug-Kombinationen gut
• Da visuelle Bewertungen schwer reproduzierbar sind und je nach Person unterschiedlich ausfallen können, wurde zusätzlich eine quantitative Analyse vorgenommen

Einzelbewertungen von Pelikan und Fahrrad

• Addiert man die Tierwerte aller Modelle, landet der Pelikan auf Platz 6 von 8 Tieren
  • hinter cat, whale, raccoon, heron und antelope
  • Alle 7 Labore zeichneten cat, whale und raccoon besser als pelican
• Da pelican an sich schwerer zu zeichnen sein kann als cat, lässt sich allein aus diesem Ranking eine gesonderte Optimierung nicht ausschließen
• Das Fahrrad lag unter 6 Fahrzeugen auf dem vorletzten Platz und praktisch gleichauf mit dem Letztplatzierten plane
• Für ein Fahrrad braucht es zwei passende Räder, einen Rahmen, der beide Achsen verbindet, Lenker, Sitz und Pedale
  • Das Bewertungsmodell urteilte, dass bei etwa zwei Dritteln der Fahrradbilder mindestens eines dieser Elemente fehlte oder nicht korrekt verbunden war
• Auch das Fahrrad ist schwieriger als einfachere Fahrzeuge wie skateboard, daher könnte sein relatives Ranking trotz gesonderten Trainings niedrig bleiben

Die durch den Prompt „plane“ erzeugte Mehrdeutigkeit

• Weil statt „airplane“ nur „plane“ verwendet wurde, interpretierten einige Modelle das nicht als Flugzeug, sondern als geometrische Ebene
• Dadurch entstanden Bilder, in denen das Tier nicht auf einem Flugzeug ritt, sondern auf einer flachen Fläche stand
• Fälle, in denen der Merkmalsextraktor gar kein Fahrzeug fand, traten nur bei plane auf
  • In 25 von 168 plane-Bildern wurde kein Fahrzeug erkannt
  • Bei den übrigen 5 Fahrzeugen gab es solche Fälle nicht
• 20 % der plane-Bilder erhielten beim Fahrzeugwert 1 oder 2 Punkte
  • Bei bicycle waren es 5 %
  • Bei boat, scooter und skateboard gab es keine Bilder mit 1 bis 2 Punkten

Rankings nach Kombination und Korrektur für den Schwierigkeitsgrad

• Die durchschnittliche Leistung der Kombination Pelikan-Fahrrad lag auf Platz 42 von 48 Kombinationen
• Da jede Kombination einen eigenen Grundschwierigkeitsgrad haben kann, wurde auf alle 1.008 Bilder eine Fixed-Effects-Regression angewendet
  • Die Grundformel lautet score ~ lab + animal × vehicle
  • Hinzu kamen Interaktionsterme für pelican, bicycle und pelican-bicycle je Labor
  • Verwendet wurden robuste Standardfehler
• Der Term animal × vehicle fängt für jede der 48 Kombinationen den jeweiligen eigenen Schwierigkeitsgrad ab
• Mit den laborbezogenen Interaktionstermen wurde der benchmarkspezifische Zusatzgewinn gegenüber dem durchschnittlichen Labor samt Konfidenzintervall gemessen

In der Regressionsanalyse keine signifikanten Effekte

• Die pelican-Effekte je Labor lagen zwischen -0,11 und +0,14 Punkten und waren sämtlich statistisch nicht signifikant
  • Selbst der kleinste p-Wert lag bei 0,25
• Die bicycle-Effekte je Labor reichten von -0,18 Punkten bei Grok 4.5 (p=0,11) bis +0,27 Punkten bei Gemini 3.5 Flash (p=0,022)
  • Die 7 Effekte verteilten sich auf positive und negative Vorzeichen
  • Nur Gemini 3.5 Flash erfüllte p<0,05
• Nach Herausrechnen der pelican- und bicycle-Effekte je Labor erfüllte auch der zusätzliche Gewinn für die konkrete Kombination pelican-bicycle bei keinem Labor p<0,05
  • Der größte positive Effekt war +0,35 Punkte bei GLM-5.2, aber mit p=0,12
  • Das war das Ergebnis mit dem stärksten Signal im Experiment, blieb aber im Zufallsbereich
• Alle Konfidenzintervalle für den pelican-Effekt und den Zelleneffekt pelican-bicycle schlossen 0 ein
• Führt man 21 Tests mit p<0,05 durch, ist schon zufällig ungefähr 1 falsch positives Ergebnis zu erwarten
  • 21 × 0.05 ≈ 1.05, und tatsächlich gab es auch nur ein signifikantes Ergebnis: den bicycle-Effekt von Gemini
  • Der Bonferroni-korrigierte Schwellenwert liegt bei 0.05/21 ≈ 0.002, den Gemini mit p=0,022 nicht erreicht
• Die Breite der Konfidenzintervalle lag im Mittel bei etwa ±0,6 Punkten, sodass kleinere Zusatzgewinne in diesem Experiment schwer erfassbar sind

Bildkomposition mit Blick nach rechts

• Alle 21 von den 7 Laboren erzeugten Pelikan-Fahrrad-Bilder zeigten nach rechts
  • Unter den 48 Kombinationen war dies die einzige, bei der alle Bilder dieselbe Richtung hatten
• Allerdings zeigten 60 % aller 1.008 Bilder nach rechts, diese Richtung ist also generell häufig
• Der Anteil rechter Ausrichtung nach Fahrzeug betrug: scooter 83 %, bicycle 81 %, skateboard 60 %, plane 58 %, unicycle 45 %, boat 35 %
• Nach Tier betrug er: antelope und pelican jeweils 78 %, heron 77 %, whale 65 %, flamingo 64 %, otter 45 %, cat 40 %, raccoon 36 %
• Da pelican und bicycle frontal schwer darzustellen sind, wählen die Modelle meist eine Seitenansicht nach links oder rechts; entsprechend gibt es nur wenige Bilder mit unklarer Richtung
• Auch andere Kombinationen zeigten hohe Richtungsübereinstimmung
  • Bei antelope-scooter und pelican-scooter hatten jeweils 20 von 21 Bildern dieselbe Richtung
  • Bei heron-bicycle waren es 19 von 21
• Allein daraus, dass bei einer von 48 Kombinationen alle 21 Bilder dieselbe Richtung hatten, lässt sich kein besonderer Ausreißer ableiten

Suche nach Auswendiglern-Spuren in Szenenelementen

• Gemini 3.1 Flash-Lite extrahierte frei formuliert Szenenelemente aus den Bildern, um zu prüfen, ob sich auswendig gelernte Kompositionen wiederholen
• Bei einigen Kombinationen wiederholten sich bestimmte Elemente häufig
  • In flamingo-boat-Bildern erschien immer die Sonne
  • In 38 % der otter-plane-Bilder tauchte ein Schal auf
  • In 38 % der cat-bicycle-Bilder war ein Korb enthalten
• Auch bei pelican-bicycle traten manche Elemente häufiger auf, doch es ließ sich kein besonderes Wiederholungsmuster erkennen, das sich von anderen Tier-Fahrzeug-Kombinationen abhob

Ein einzelnes Bewertungsmodell und begrenztes Budget

• Alle Punkte wurden von einem einzigen Bewertungsmodell, GPT-5.6 Luna, vergeben, das die Bilder einzeln betrachtete
  • Die Bewertungsmaßstäbe wurden nicht umfassend abgeglichen, und die Konsistenz bei erneuter Bewertung wurde nicht überprüft
  • Wenn das Bewertungsmodell Zeichnungen nicht zuverlässig beurteilen kann, sinkt der Wert der quantitativen Ergebnisse
• Hinzu kommt die Einschränkung, dass Bewertungsmodell und Teilnehmermodell GPT-5.6 Terra aus derselben Produktfamilie stammen
  • Da jedoch jedes Labor alle 48 Kombinationen erzeugte, würden selbst Vorlieben für den Stil eines bestimmten Labors die Werte des gesamten Gitters dieses Labors anheben
  • Die Analyse vergleicht Unterschiede zwischen den Kombinationen innerhalb eines Labors, sodass solche Vorlieben das Kernergebnis nicht verändern sollten
• SVGmaxxing, also eine Optimierung nicht für einen einzelnen Prompt, sondern für die SVG-Erzeugung insgesamt oder für Kategorien wie „Tiere auf Fahrzeugen“, lässt sich damit nicht erkennen
  • Dann würden die Leistungen in allen Zellen gemeinsam steigen und sich nicht von Modellen unterscheiden lassen, die einfach generell gut SVGs erzeugen
  • Google/DeepMind hat eine solche Optimierung öffentlich durchgeführt
• Die Gesamtkosten des Experiments lagen bei etwa 80 US-Dollar an API-Credits
  • Beschränkt wurde auf 3 Samples pro Zelle, 1 Bewertungsmodell und 7 Teilnehmermodelle
  • Prompt und Pipeline konnten nicht oft genug iterativ verbessert werden, weshalb Probleme wie „plane“ versus „airplane“ bestehen blieben

Keine Belege für die Optimierung auf einen bestimmten Prompt

• Der Pelikan wurde nicht besser gezeichnet als andere Tiere, das Fahrrad war anderen Fahrzeugen nicht überlegen, und kein Labor zeichnete gerade diese Kombination signifikant besser, als es die Einzelwerte für Pelikan und Fahrrad erwarten ließen
• GLM-5.2 verzeichnete zwar den größten Zusatzgewinn in einer bestimmten Pelikan-Fahrrad-Zelle, doch der Effekt war klein und statistisch nicht signifikant
• Dass alle 21 Bilder nach rechts zeigen, fällt auf, aber rechtsgerichtete Kompositionen sind insgesamt häufig, und drei andere Kombinationen erreichten ebenfalls eine Übereinstimmung von über 90 %
• Wahrscheinlicher als ein nur auf diesen Benchmark zielendes pelicanmaxxing ist ein breiteres SVGmaxxing, das die SVG-Erzeugung insgesamt stärkt; welches Labor das betreibt, lässt sich mit diesem Experiment jedoch nicht bestimmen

[GN⁺]

Hacker-News-Kommentare

• Ich habe zwischendurch auch andere Tier-Fahrzeug-Kombinationen überprüft, weil es mein Traum war, Belege dafür zu finden, dass ein bestimmtes AI-Labor ausgerechnet einen Pelikan auf einem Fahrrad besonders gut zeichnet
  Dylans Methodik, mit 8×6 Kombinationen 1.008 SVGs zu erzeugen, ist deutlich solider, als ich erwartet hatte. Allerdings fand sich bei keinem Modell ein Fall, in dem ein Pelikan auf einem Fahrrad merklich besser herauskam als andere Kombinationen

  • Es könnte sein, dass nicht nur auf Pelikane, sondern auf SVGs insgesamt optimiert wurde. Die Erzeugung komplexer SVGs war anfangs ein guter Benchmark, weil sie allgemeine Programmierung und räumliches Wissen testet, aber wenn man nur diese Aufgabe direkt angeht, ist sie nicht so schwer
  • Bei den SQL-Benchmarks von TPC gab es etwas Ähnliches. Schlechte TPC-Leistung bedeutete, dass man nicht konkurrenzfähig war; gute TPC-Leistung verschaffte einem erst die Berechtigung, an Vergleichstests mit realen Kundenaufgaben teilzunehmen
    In einem überfüllten Markt ist das Bestehen von Benchmarks das Eintrittsgeld, aber enge Optimierung, bei der nur bestimmte Szenen hart kodiert werden, ohne benachbarte Probleme zu verbessern, ist problematisch. Das erinnert mich an den „Quack3“-Benchmark für ATI-Karten im GPU-Bereich
  • Die grundlegendere Prüfung wäre eine Bewertung der SVG-Bilderzeugung insgesamt. Man könnte eine Pipeline bauen, die beliebige Bilder beschriftet, das LLM um SVG-Erzeugung bittet, dann rasterisiert und per deterministischer visueller Ähnlichkeit vergleicht oder ein anderes LLM die Ähnlichkeit zum Original bewerten lässt
  • Man könnte auch die Art wechseln. Als Kandidaten kämen neben dem Pelikan auch der Schuhschnabel oder ein Reiher in Frage, also andere Vögel derselben Ordnung

• Dass der Pelikan auf dem Fahrrad nach rechts schaut, ist natürlich. Der Antriebsstrang eines Fahrrads sitzt rechts; um ihn sichtbar und nicht vom Rahmen verdeckt zu zeigen, zeichnet man eher die rechte Seite, und wahrscheinlich spiegelt sich diese Perspektive auch in den Trainingsdaten wider
  Quelle: https://www.rei.com/c/bikes
  Bei genauerem Hinsehen zeigen alle Fahrräder unabhängig von der Richtung des Tiers nach rechts, und außer beim Wal befinden sich auch beide Beine der Fahrenden jeweils auf der rechten Seite des Fahrrads. Das deutet auf ein erhebliches Fehlen eines praktischen Verständnisses dafür hin, wie Fahrräder funktionieren

• Jedes Mal, wenn Simon Willison ein SVG postete, kamen Reaktionen wie „Inzwischen haben sie das sicher gelernt“, die die Bewertung beiseitewischten; es gab aber auch einen Beitrag, der logisch erklärte, wie leicht sich solches Lernen aufdecken lässt. Ich freue mich über die quantitative Analyse der Ergebnisse kleiner Tiere auf Fahrrädern
  https://simonwillison.net/2025/Nov/13/training-for-pelicans-...

  • Es gibt auch eine mildere Möglichkeit. Früher gab es kaum Illustrationen von Pelikanen auf Fahrrädern, inzwischen aber Material, das talentierte Künstler direkt gezeichnet haben, und Labore könnten dieses wie andere Webinhalte einsammeln, wodurch die Leistung steigt
    Diese Ergebnisse zeigen, dass selbst eine solche Verbesserung noch nicht eingetreten ist. Es ist sogar möglich, dass das Lernen aus schlechten Online-Ergebnissen die Leistung verschlechtert hat
  • Verallgemeinerte Resultate aus einer kleinen Zahl von Tier-Fahrzeug-Kombinationen sind kaum ein starker Beleg dafür, dass dieses Material nicht direkt oder breit trainiert wurde

• Wenn die plausiblere Erklärung eine SVG-Optimierung ist, muss man auch hinterfragen, was „Optimierung“ hier eigentlich bedeutet. Die Fähigkeit, SVG besser zu zeichnen, ist an sich eine nützliche Kompetenz

  • Es ist nicht schlimm, wenn AI-Labore ihre Technik maximal ausreizen. Benchmarks sind faktisch das einzige Mittel, aktuelle Modelle quantitativ zu vergleichen; wenn einen Benchmark-Optimierung stört, ist es sinnvoller, zu besseren Benchmarks beizutragen

• Ich habe einem ähnlichen Experiment noch eine Variation hinzugefügt. Ich habe geprüft, ob das Modell auch dann selbst einen Pelikan auf einem Fahrrad auswählt, wenn weder ein bestimmter Vogel noch ein bestimmtes Fortbewegungsmittel vorgegeben wird
  Ergebnisse: https://www.modelbias.ai/pelican-on-a-bicycle-test

  • Obwohl es eine einfache Zeichnung ist, gab es Pinguine auf Skateboards mit ästhetisch hervorragenden Ergebnissen, und zwar sogar bei schwächeren Modellen. Bei der Opus-Reihe scheinen die Resultate mit der Zeit eher schlechter geworden zu sein
  • Da keine subjektive Bewertung nötig ist und die Resultate weniger von der Komplexität von Tier und Fortbewegungsmittel abhängen, ist das überzeugender und robuster als die Analyse im Originaltext

• Die Rohdaten sind auf GitHub veröffentlicht: https://github.com/dylanjcastillo/blog/tree/main/_extras/pel...

• Ein LLM SVGs erzeugen zu lassen, ist sehr schwierig und unnatürlich, ähnlich wie einem menschlichen Maler eine Liste von Koordinaten vorzulesen und ihn danach zeichnen zu lassen. Moderne Bildgenerierungsmodelle können problemlos Fahrräder mit perfekter Struktur und realistische Pelikane erzeugen, aber das Ergebnis ist eben nur ein Rasterbild
  Es fehlt der Schritt, das Bild in SVG-Pfade oder Pinselbefehle zu zerlegen und so nachzubilden; um das sauber zu machen, braucht es ein echtes Verständnis der Szenenstruktur, und genau darin ist AI bislang noch schwach

  • Ein hervorragender menschlicher Maler kann den Zeichenprozess im Kopf visualisieren, und das muss sich nicht stark davon unterscheiden, wie ein LLM intern ein SVG zusammensetzt. Anthropic hat diesen internen Raum kürzlich als workspace bezeichnet; möglicherweise wirkt das nur für Menschen fremd, die mit SVG nicht vertraut sind
  • Dieser Test bewertet nicht Rasterbilder, sondern die SVG-Erzeugung selbst
  • Bildmodelle wie Image2, die Textausgabe unterstützen, oder allgemeine Textmodelle wie Claude, die Bilder lesen können, sind in der Lage, Rasterbilder zu vektorisieren. Die Qualität ist aber noch niedrig, sodass selbst ein Nichtprofi mit Inkscape in Handarbeit bessere Ergebnisse erzielt

• Sobald bekannt ist, wie LLM-Ausgaben bewertet werden, beginnen Geldgeber und Labore, sich für diese Kennzahl zu interessieren und daran nachzujustieren. Im besten Fall verbessern sie die SVG-Fähigkeiten insgesamt und optimieren dabei auch die Pelikan-Erzeugung; sobald es aber eine bekannte Metrik ist, taugt sie kaum noch als vertrauenswürdige unabhängige Bewertung