- Claude Fable 5 und GPT-5.6 Sol erhielten denselben Song und dieselben Lyrics, ein Budget von 25 bzw. 100 Dollar, Websuche und ffmpeg. Von der Recherche über Videogenerierung bis zum Schnitt erledigten sie alles selbstständig – und schlossen in allen vier Läufen eigenständig ein vollständiges Video mit dem Originalsong ab
- Auch Generierungsmodelle und Produktionsmethode wählten sie selbst. In drei von vier Läufen nutzten sie Text-to-Video; nur Sols 25-Dollar-Lauf baute eine Pipeline, die zuerst Standbilder erzeugte und sie anschließend animierte
- Die Generierungskosten der 100-Dollar-Läufe lagen bei nur 36,57 Dollar für Sol und 48,60 Dollar für Fable. Einschließlich LLM-Token-Kosten waren es 39,82 bzw. 73,65 Dollar; Fable war schneller fertig, kostete aber mehr
- In allen Ergebnissen fehlten Konsistenz bei Figuren und Handlung, Tempo-Synchronisierung zwischen Bewegungen im Video und Musik sowie Selbstprüfung durch erneutes Bewerten und Schneiden der generierten Clips. Zudem zeigte sich eine Tendenz, Lyrics zu wörtlich zu visualisieren
- Sols 25-Dollar-Lauf zeigte mit Text-Overlays und Standbild-Effekten den kreativsten Schnitt, blieb insgesamt aber beim einfachen Aneinanderreihen generierter Clips und nutzte weder das 100-Dollar-Budget noch Replicate ausreichend aus
Experiment zur autonomen Musikvideo-Produktion
- Einem kleinen Agent Harness wurden ein Song, ein festes Dollar-Budget und Tools gegeben, damit er die gesamte Musikvideo-Produktion autonom ausführt
- Recherche zu nutzbaren Videogenerierungsmodellen und APIs
- Clips generieren und selbst prüfen
- Mit ffmpeg schneiden und das finale Video zusammensetzen
- Um Unterschiede in der Tool-Nutzung der Modelle zu erkennen, wurde die Aufgabe als offene Langzeitaufgabe gestaltet, bei der jedes Modell Rechercheziele, generierte Inhalte und Schnittmethode selbst bestimmt
- Alle Tool-Aufrufe wurden protokolliert, sodass sich der Arbeitsprozess je Modell nachvollziehen lässt; der gesamte Harness ist unter music-video-arena veröffentlicht
- Claude Fable 5 und GPT-5.6 Sol wurden jeweils mit 25- und 100-Dollar-Budget ausgeführt, insgesamt also vier Vergleichsläufe
- Allen Läufen wurden identisch “Uptown Funk” von Bruno Mars und Mark Ronson, eine kurze Textbeschreibung sowie ein Lyrics-Transkript mit Zeitstempeln bereitgestellt
6 Tools und Budgetbeschränkung
- Jedes Modell nutzte in einer autonomen Tool-Aufrufschleife die folgenden 6 Tools
plan: Gedanken strukturieren, ohne Kosten oder reale Aktionweb_search: Generierungsmodelle und APIs recherchieren und bei Bedarf Informationen zu Musikvideos suchenget_budget: verbleibendes Budget prüfengenerate_image,generate_video: die einzigen budgetverbrauchenden Tools; das Modell wählt FAL- oder Replicate-Modelle und Parameter selbstrun_command: lokale Shell für Audioanalyse mit ffmpeg und ffprobe, Zuschneiden und Zusammenfügen von Clips sowie Kombinieren des finalen Videos
- Wenn das Budget auf 0 sinkt, werden kostenpflichtige Generierungsanfragen abgelehnt, nachgelagerter Schnitt kann aber fortgesetzt werden
- Neben Modellnachrichten und Tool-Aufrufen wurden auch Abrechnungen und Fehler vollständig protokolliert
Ergebnisse der vier Läufe
- Alle Läufe beendeten sich selbst, ohne an Schritt- oder Zeitlimits zu stoßen, und erzeugten ein gültiges Video in voller Länge mit dem Originalsong
- Laufzeit und Generierungsergebnisse waren wie folgt
- Fable 5 · 25 Dollar: 39 Min. 10 Sek., 54 Clips, 1 Fehlschlag, 24,30 Dollar, 1280×720
- Sol · 25 Dollar: 42 Min. 52 Sek., 46 Clips, 10 Fehlschläge, 23,18 Dollar, 1280×720
- Sol · 100 Dollar: 49 Min. 39 Sek., 70 Clips, 2 Fehlschläge, 36,57 Dollar, 1280×720
- Fable 5 · 100 Dollar: 38 Min. 56 Sek., 80 Clips, keine Fehlschläge, 48,60 Dollar, 1920×1080
- Generierungskosten bezeichnen nur die gemessenen Kosten bei FAL; die Token-Kosten des Modelllaufs selbst sind nicht enthalten
- In den 25-Dollar-Läufen schöpften beide Modelle das Budget fast aus, während die 100-Dollar-Läufe nur 36,57 Dollar bei Sol und 48,60 Dollar bei Fable verbrauchten
- Mit größerem Budget stieg auch die Menge des generierten Videomaterials; die Zahl eindeutiger Clips je Lauf lag bei 46 bis 80
- Die Wanduhrzeit umfasst auch Wiederholungsversuche des Modells und Wartezeit in Anbieterwarteschlangen
Generierungspipelines der Modelle
- Als die Tool-Wahl den Modellen überlassen wurde, nutzten drei von vier Läufen ausschließlich Text-to-Video; nur Sols 25-Dollar-Lauf baute eine Image-to-Video-Pipeline
- Fable 5 · 25 Dollar
- Wählte Wan 2.5 t2v ohne Bildmodell
- Text-to-Video-Verfahren mit 0,05 Dollar pro Sekunde Ausgabematerial
- Sol · 25 Dollar
- Erzeugte Keyframes mit FLUX schnell für 0,003 Dollar pro Bild
- Animierte Standbilder mit Wan 2.2-5b i2v für 0,10 Dollar pro Sekunde
- Sol · 100 Dollar
- Mischte in einem Lauf drei Videomodelle ohne Bildmodell: Wan 2.5, Veo 3.1 Lite und Hailuo 2.3 Standard
- Wan 2.5 kostet 0,05 Dollar pro Sekunde, Veo 3.1 Lite 0,10 Dollar pro Sekunde, Hailuo 2.3 Standard 0,28 Dollar pro etwa 6-Sekunden-Clip
- Fable 5 · 100 Dollar
- Nutzte ohne Bildmodell ausschließlich Seedance 1.0 Pro t2v
- Tokenbasierter Preis von etwa 0,62 Dollar pro 5-Sekunden-Clip in 1080p, entsprechend etwa 0,12 Dollar pro Sekunde
- Obwohl Keys für beide Dienste bereitgestellt wurden, nutzten alle vier Läufe ausschließlich FAL und griffen nicht auf Replicate zu
Tool-Aufrufe und Fehler
- Die Tool-Aufrufstatistik umfasst neben erfolgreichen Anfragen auch fehlgeschlagene Generierungsversuche
- Die vollständigen Pläne sowie Aufruf- und Befehlsprotokolle je Lauf sind in den folgenden Transkripten zu finden
- Fehlgeschlagene Aufrufe entstanden hauptsächlich durch vorübergehende Netzwerkfehler beim Anbieter
- Für fehlgeschlagene Anfragen wurden keine Kosten berechnet, sie verbrauchten jedoch im Wiederholungsprozess Arbeitsschritte
Token-Nutzung und tatsächliche Gesamtkosten
- Die Token-Nutzung je Lauf war wie folgt
- Fable 5 · 25 Dollar: 1.476.900 Eingabe-Token, 44.341 Ausgabe-Token, keine Cache-Eingabe
- Sol · 25 Dollar: 2.956.270 Eingabe-Token, 33.220 Ausgabe-Token, 9.656 Reasoning-Token, 2.558.029 Cache-Eingabe-Token
- Sol · 100 Dollar: 2.097.572 Eingabe-Token, 31.715 Ausgabe-Token, 12.330 Reasoning-Token, 1.819.050 Cache-Eingabe-Token
- Fable 5 · 100 Dollar: 2.264.610 Eingabe-Token, 48.029 Ausgabe-Token, keine Cache-Eingabe
- Die Token-Preise betragen bei Fable 5 10 bzw. 50 Dollar pro Million Eingabe- bzw. Ausgabe-Token, bei Sol 5 bzw. 30 Dollar
- Die Gesamtkosten je Lauf einschließlich Generierung und LLM-Token-Kosten waren wie folgt
- Fable 5 · 25 Dollar: Generierung 24,30 Dollar + LLM 16,99 Dollar = 41,29 Dollar
- Sol · 25 Dollar: Generierung 23,18 Dollar + LLM 4,27 Dollar = 27,45 Dollar
- Sol · 100 Dollar: Generierung 36,57 Dollar + LLM 3,25 Dollar = 39,82 Dollar
- Fable 5 · 100 Dollar: Generierung 48,60 Dollar + LLM 25,05 Dollar = 73,65 Dollar
- Allein Fables Token-Kosten lagen bei 16,99 bis 25,05 Dollar und machten etwa 30 bis 40 % der Gesamtkosten aus
- Sol blieb trotz ähnlicher Token-Größenordnung bei Token-Kosten von rund 3 bis 4 Dollar
- Die Generierungskosten sind eine bestmögliche Schätzung auf Basis der Preislisten der jeweiligen Modelle
In den Ergebnissen sichtbare Grenzen
- In allen vier Videos veränderte sich das Aussehen wiederkehrender Figuren von Szene zu Szene, und eine von Anfang bis Ende durchgehende konsistente Handlung wurde nicht aufrechterhalten
- Es zeigte sich eine Tendenz, Lyrics zu wörtlich zu interpretieren
- Bei der Zeile “Make a dragon wanna retire, man” erschien tatsächlich ein Drache im Bild
- In einzelnen Szenen war das interessant, wirkte aber durch wiederholte Anwendung zunehmend unbeholfen
- Alle Läufe erkannten mit ffmpeg Beats und setzten Schnitte im Takt, doch Bewegungen innerhalb der Clips wie Tanz und Kamerafahrten passten kaum zum Tempo des Songs
- In der Szene “gotta kiss myself I’m so pretty” war die Kussbewegung der Hauptfigur viel zu langsam
- Sols 25-Dollar-Lauf nutzte Schnittmethoden, die in den anderen Läufen nicht zu sehen waren, etwa Text-Overlays und Videoeffekte zur Bewegung von Standbildern
- Die übrigen Läufe reihten überwiegend einfach generierte Clips aneinander; nur Sols 100-Dollar-Lauf probierte im Unterschied zu Fable mehrere Videomodelle gemeinsam aus
Grenzen bei Selbstprüfung und Budgetnutzung
- Nach der Generierung wurden Clips verbunden und mit dem Audiosignal kombiniert, aber iterative Schnittrunden mit erneutem Herausschneiden oder Hinzufügen von Effekten gab es kaum
- Die Qualität generierter Clips wurde nicht ernsthaft geprüft; Sols 100-Dollar-Ergebnis enthält auch KI-Clips niedriger Qualität
- Fable 5 wählte zufällig ein Modell, das konsistentere Ausgaben lieferte
- Fable war schneller fertig als Sol, hatte aber pro Lauf höhere Kosten und verzeichnete auch die höchsten Gesamtkosten
- Subjektiv wurde Fables 100-Dollar-Video etwas bevorzugt, doch keines der vier Ergebnisse erreichte ein herausragendes Niveau
- Selbst beim 100-Dollar-Budget gaben beide Modelle nicht annähernd den Höchstbetrag aus und nutzten auch nicht viele Arbeitsschritte
- Mit dem verbleibenden Budget hätten sie zuerst konsistente Figurenbilder erzeugen und diese anschließend animieren können, aber keines der Modelle wählte diesen Ansatz
- Bei subjektiven, stilgetriebenen Aufgaben haben selbst Frontier-Modelle weiterhin deutliches Verbesserungspotenzial
Selbst ausführen
- Unter music-video-arena lässt sich dasselbe Experiment mit einem gewünschten Song und Budget sowie ausgetauschten Vergleichsmodellen ausführen
- Das Projekt ist Open Source und nimmt Issues, PRs und Feedback zur Experimentkonfiguration entgegen
1 Kommentare
Meinungen auf Hacker News
Im Vergleich zu vor ein paar Jahren ist das beeindruckende Technik, aber das Ergebnis hat überhaupt keinen künstlerischen Wert. Es wirkt wie eine graue Schleimmasse, die alle Konzepte mittelt, die einem beim Song in den Sinn kommen; ein kreativer Mensch mit Talent und Vision könnte selbst ohne Budget an einem Nachmittag etwas Interessanteres und Unterhaltsameres schaffen.
Man könnte zum Beispiel Szene und Timing genau anweisen: Die beiden Figuren aus der vorherigen Szene tragen Gewänder von Hohepriestern des ägyptischen Mittleren Reichs mit Katzengesichtern und tanzen im Takt der Musik auf dem Rücken von Elefanten, die über einen Fluss rasen. AI ist ein Werkzeug; wenn man nur sagt: „Mach mir zu diesem Song ein Musikvideo mit Ägypten-Setting“, ist es kein Wunder, dass es grob und billig wirkt.
Es wird sicher Leute geben, die AI künstlerisch hervorragend einsetzen, aber ich sorge mich, dass es schwerer wird, interessante Werke zu entdecken, unabhängig davon, ob AI benutzt wurde, wenn automatisch generierter Durchschnitts-Content in überwältigenden Mengen hereinströmt. Ich hoffe, diese Entwicklung bringt Menschen wieder zu lokalen Offline-Gemeinschaften und physischer Kunst zurück.
Wer echte Fähigkeiten und Talent hat, kann mit solchen Tools günstig Erstaunliches schaffen, und die Technik ist noch weit von ihrem Höhepunkt entfernt.
Das Problem ist, dass man AI nicht mit dem durchschnittlichen Menschen in diesem Feld vergleicht, sondern mit einem Genie, wie es nur einmal im Leben vorkommt.
Vielleicht liegt es am Prompt oder an der Umsetzung, aber das Ergebnis kopiert die Lyrics viel zu wörtlich. Gute Musikvideos bauen in der Regel eher entlang des Themas als direkt entlang der Lyrics einen erzählerischen Fluss auf, beginnen mehrdeutig und offenbaren dann über literarische Mittel etwas.
Amber Runs
Foundlohnt sich, um Lyrics, Video und die erzählerische Entwicklung des Videos zu vergleichen: https://www.youtube.com/watch?v=Yj6V_a1-EUARiptideist ein gutes Beispiel: https://www.youtube.com/watch?v=uJ_1HMAGb4kGenghis Khanist einen Blick wert: https://youtu.be/P_SlAzsXa7EBesonders Ersteres ist eigentlich eine ziemlich eindeutige Anspielung auf Kokain, und der absurde Literalismus des Videos bildet einen herrlichen Kontrast zu den cleveren, originellen Lyrics. Wären die Lyrics so schlicht wie das Video, hieße es wohl etwa: „Jetzt ziehen wir uns alle Kokain rein!“
KI bringt die wirtschaftliche Struktur, die eine beträchtliche Mittelschicht von Künstlern getragen hat, zum Einsturz. Viele Künstler wurden weniger für künstlerischen Wert bezahlt als für ästhetische Ausarbeitung; auch wenn das nicht die kreativ erfüllendste Arbeit war, ermöglichte sie ihnen, ihren Lebensunterhalt zu verdienen, ihre Fähigkeiten zu verfeinern und nebenbei ihre eigentlichen kreativen Ziele zu verfolgen.
Wenn man ein Unternehmen mit Budget führt, wird man seine Zeit nicht damit verschwenden, Kunstaufgaben mit Claude zu erledigen, selbst wenn man alles selbst machen könnte. Wer für Arbeit, die KI leicht ersetzen kann, hoch bezahlt wurde, wird verdrängt werden; aber dieser Hochpreismarkt war für Künstler der Mittelschicht ohnehin nicht besonders groß.
Es gibt auch immer mehr Leute, die stolz einen Akzelerationismus vertreten, nach dem man alles so schlecht wie möglich machen solle, um die Welt zu verschlechtern und auf das eigene Niveau herunterzuziehen; im Grunde ist das Krabben-im-Eimer-Verhalten als politische, wirtschaftliche und arbeitsphilosophische Haltung.
Wirklich kreative Menschen werden KI nicht als Abkürzung, sondern als Fähigkeitsverstärker nutzen, und ab dann wird es interessant. Schon heute gibt es in der Softwareentwicklung Menschen, die dank LLMs Dinge umsetzen, die sie wegen mangelnder Coding-Fähigkeiten früher nicht bauen konnten; wenn sich dieselbe Haltung unter Künstlern verbreitet, werden KI-Werke entstehen, die man wirklich Kunst nennen kann.
Gute Musik musste man ohnehin schon anderswo suchen, und 90 % der Popmusik waren bereits vor KI massenproduzierter Schrott. Ein altes Frank-Zappa-Interview über den Niedergang der Musikindustrie ist immer noch gültig: https://www.youtube.com/watch?v=KZazEM8cgt0
Es ist ein furchtbares Video, das wie Suno-Musik nur bei oberflächlichem Kontakt plausibel wirkt und in dem in dem Moment, in dem man genauer hinschaut, alle möglichen Mängel sichtbar werden.
Uptown Funk, ein großer Hit aus dem Jahr 2014: https://www.youtube.com/watch?v=OPf0YbXqDm0Natürlich stimme ich zu, dass das Video furchtbar ist.
https://www.cbc.ca/news/canada/ai-baby-slop-9.7166873
https://www.nytimes.com/2026/02/26/us/ai-videos-children-you...
Für Erwachsene könnte KI wohl auch Videos wie
OW, My balls!aus dem FilmIdiocracyendlos generieren.https://substackcdn.com/image/fetch/$s_!Dh4l!,f_auto,q_auto:...
https://media.licdn.com/dms/image/v2/D4E22AQEqLntg_DW7vg/fee...
higgsfield ai, das auf den Videobereich spezialisiert ist, darf man ebenfalls kaum auslassen.Interessant ist, dass es so schlecht wird, wenn man keine Videomodelle und keine direkte Regie einsetzt. Die beiden vorherigen Clips habe ich mit Kling erstellt, das ich selbst nutze; ich stehe in keiner Beziehung dazu: https://xcancel.com/PJaccetturo/status/2076312902685085815#m
Natürlich war das kein Ergebnis aus einem einzigen Generierungslauf und wurde im Video-Editor fertiggestellt, aber diese Detailtreue zu erreichen, ist durchaus möglich.
Gut, dass die Macher eingeräumt haben, dass „keines der Musikvideos großartig war“. Mich würde auch interessieren, wie viel Zeit das neben den Tokens kostet.
Wenn man für 25 Dollar und 45 Minuten am Ende ein praktisch unansehbares Video bekommt, müssen sich unabhängige Filmemacher wohl noch keine Sorgen machen, ersetzt zu werden.
Philosophisch betrachtet ist Kunst ihrem Wesen nach menschlich. Bedeutung und Wirkung entstehen weniger durch eine coole Oberfläche als durch das Leben des Künstlers, den Kontext des Werks, Mühe und Leid, persönliche Vorlieben und Situationen – durch den Menschen, der etwas Bestimmtes geschaffen hat.
Man kann KI als Werkzeug zur Kunstproduktion einsetzen, aber wenn jemand ein bis zwei Minuten lang einen Prompt eingibt, ein wenig nachbessert und das dann als eigene Kunst verkauft, ist das nur leicht hergestellter Content. Auch ohne KI entsteht Content schneller, als wir ihn ansehen können; bedeutungsvolle Kunst unterscheidet sich von massenproduzierten Erzeugnissen.
Da Kunst subjektiv ist, kann jemand in KI-Generiertem Bedeutung finden, und wenn eine originelle Präsentationsform tief berührt, kann es auch Kunst sein. Aber dieser Müll fällt nicht darunter. Selbst wenn es nur ein Funktionstest ist, wird so etwas an vielen Stellen übernommen werden, weil es billig und gut genug ist; also müssen wir uns noch einer weiteren Kostensenkung entgegenstellen, die die Welt nicht besser macht.
Wie in der Formulierung „Kunst ist alles, womit man ungestraft davonkommt“ ist die Debatte darüber, was Kunst ist, nicht neu. Dass solche Technologien Menschen dazu bringen, ihre jeweiligen Perspektiven zu diskutieren, könnte an sich schon die Art sein, wie Kultur entsteht. Interessant ist auch die Frage, ob Kunst durch das, was der Schöpfer getan hat, zur Kunst wird oder durch die Art, wie Betrachter sie aufnehmen.
Es lohnt sich, darüber nachzudenken, ob ein Werk, das einen berührt hat, dessen Herkunft man aber nicht kannte, immer noch Kunst wäre, wenn man später erfährt, dass es zu 100 % KI-generiert ist.
Wenn man einen so hohen Maßstab anlegt, sind auch die meisten von Menschen gemachten Musikvideos keine Kunst: https://en.wikipedia.org/wiki/Potboiler
Manche halten das Centre Pompidou vielleicht für voller genialer Werke, aber ich konnte damit nicht viel anfangen; bei KI-Werken ist es genau dasselbe Problem.
Ein Buch ist ein Buch und kann gut oder schlecht sein, aber die Tatsache, dass Goethe, Tante Clara, ein LLM oder ein Hund es geschrieben hat, ist nicht Teil des Werks selbst. Auch wenn Menschen leicht von einer guten Hintergrundgeschichte angezogen werden, sollte sie für die Beurteilung von Kunst keine Rolle spielen.
Alle Modelle haben ausgerechnet Kostümdesign hervorragend hinbekommen; ich frage mich, ob das daran liegt, dass sie mit Blick auf den Einsatz in der Modebranche viele Modedaten trainiert haben.
Filmproduktion ist ihrem Wesen nach ein iterativer Verbesserungsprozess, und auch in der Realität stellt man ein Musikvideo nicht in einem Durchlauf fertig. Ein Agent müsste die Ergebnisse in jedem Schritt prüfen und iterativ überarbeiten, daher gibt es viel Raum für Verbesserungen.
Auch das Budget des originalen
Uptown Funk-Musikvideos dürfte bei etwa 100.000 Dollar gelegen haben, und selbst traditionelle Independent-Filme sind wegen Ausrüstung, Personal und Locations teuer. In jeder Branche ist eine Kostensenkung um den Faktor 100 eine enorme Veränderung.Dass bei der Zeile „don't believe me just watch“ buchstäblich ein Arm mit Uhr gezeigt wurde, war urkomisch. Fast wie ein Scharadespiel.
retiredstand, musste ich laut lachen.Ein interessantes Experiment, und die Ergebnisse sind überraschend. Aber ich garantiere: Wenn man Musiker ist, kann man zusammen mit Freunden mit nur 25 Dollar und 45 Minuten ein deutlich besseres Musikvideo machen.
OK Go hatten mit
Here It Goes Againim frühen YouTube großen Erfolg: https://www.youtube.com/watch?v=dTAAsCNK7RASolche Fälle sind allerdings Ausnahmen, und die meisten haben nicht die Fähigkeit, mit knappem Budget kreative Ergebnisse zu erzielen. Das heißt nicht, dass dieses KI-Ergebnis besser wäre; im Gegenteil, es ist vollkommen schrecklich.