A$AP Rocky veröffentlicht das Musikvideo „Helicopter“ mit Gaussian Splatting

• Das Musikvideo zu A$AP Rockys neuem Song „Helicopter“ setzt fast sämtliche Darsteller-Performances mit volumetrischem Capture und Gaussian Splatting um
• Für die Aufnahmen kam ein Array aus 56 RGB-D-Kameras von Evercoast zum Einsatz, das reale Performances in 3D aufzeichnete; im Anschluss wurde mit Houdini und OctaneRender gerendert
• Über CG Nomads GSOPs und internes Tooling von WildCapture wurden Sequenzierung, Relighting und physische Interaktionen der Splat-Daten umgesetzt
• Trotz der surrealen Anmutung des Videos basieren alle Szenen auf der physischen Performance realer Darsteller
• Das Projekt gilt als praxisnaher Einsatzfall von dynamischem Gaussian Splatting in Popmusikvideos und zeigt das Potenzial künftiger Echtzeit-3D-Videoproduktion

---

Überblick über die Produktion des Musikvideos „Helicopter“

• A$AP Rockys „Helicopter“ ist ein Musikvideo auf Basis von Radiance-Fields-Technologie, bei dem nahezu alle Darsteller-Performances volumetrisch erfasst wurden
  • Das Video zeichnet sich durch chaotische Bewegungen und die Energie eines frühen MTV-Stils aus
  • Die Figuren wurden als Dynamic Splats gerendert, um eine räumliche Tiefenwirkung zu erzeugen
• An dem Projekt waren unter anderem Evercoast, Grin Machine, WildCapture und Fitsū.ai beteiligt
  • Evercoast übernahm das Performance-Capturing, Chris Rutledge von Grin Machine wirkte als CG-Supervisor mit
  • Wilfred Driscoll von WildCapture unterstützte technisch bei zeitlicher Konsistenz und Motion Transfer

Volumetrischer Dreh und technische Umsetzung

• Die Aufnahmen fanden im August 2025 in Los Angeles statt, synchronisiert mit 56 RGB-D-Kameras von Evercoast und zwei Dell-Workstations
  • Die Darsteller hingen an Seilen oder an Deckenstangen und führten physische Stunts aus
  • Rotorblätter des Hubschraubers oder Requisiten wurden durch echte Holzkonstruktionen ersetzt, um in einem realistischen Setup zu drehen
• Insgesamt wurden 10 TB Rohdaten gesammelt und zu rund 30 Minuten Splat-Video gerendert
  • Das finale Ergebnis wurde als PLY-Sequenzen im Umfang von etwa 1 TB ausgegeben

Pipeline in der Postproduktion

• Die Postproduktion erfolgte in Houdini, wo mit CG Nomads GSOPs die Splat-Daten bearbeitet und sequenziert wurden
  • Mit OTOYs OctaneRender waren Final Rendering und Relighting möglich
  • Die Houdini-Integration von Octane ist inzwischen ausgereift genug, um Schatten und räumliche Tiefe darzustellen
• Blender wurde für Layout und Previsualisierung eingesetzt
  • Splat-Sequenzen wurden in schlanke Proxy-Caches umgewandelt und für die Szenenplanung genutzt
  • Mit internem Tooling von WildCapture wurden Skeletons aus Pose Estimation erzeugt, um Kollisionen und Physiksimulationen zu unterstützen

Echtzeit-Vorschau und Produktionseffizienz

• Das System von Evercoast liefert räumliches Echtzeit-Feedback direkt am Set
  • Die Regie kann unmittelbar nach dem Dreh eine meshbasierte Vorschau prüfen und später über einen Web-Player das vollständige Splat-Rendering begutachten
  • Noch vor dem Download der großen Datenmengen lassen sich nur die benötigten Szenen gezielt zur Nachbearbeitung auswählen
• Dieser Workflow ähnelt eher einer Simulation als klassischer Filmproduktion und ermöglicht schnelle sowie kosteneffiziente kreative Arbeit

Reale Performance und visuelle Täuschung

• Ein Teil des Publikums hielt das Video fälschlich für KI-generiert, doch alle Szenen basieren auf der physischen Performance realer Darsteller
  • Stunts, Sprünge und Stürze wurden vollständig in realen Räumen ausgeführt
  • Dank volumetrischem Capture lassen sich Kameraperspektiven neu anordnen und räumliche Kontinuität aufbrechen, was den künstlichen Eindruck verstärkt
• Die Radiance-Field-Technologie ersetzt die Realität nicht, sondern dient dazu, reale Bewegung und realen Raum zu bewahren

Frühere Zusammenarbeit von A$AP Rocky mit Radiance Fields

• A$AP Rocky hatte bereits im Musikvideo zu „Shittin’ Me“ aus dem Jahr 2023 NeRF und die Instant-NGP-GUI eingesetzt
  • „Helicopter“ gilt nun in dieser Entwicklungslinie als groß angelegter Praxiseinsatz von dynamischem Gaussian Splatting

[GN⁺]

Hacker-News-Kommentare

• Ich finde es wirklich beeindruckend, dass Nial Ashley (Llainwire) das 2023 allein gemacht und sogar die Visuals selbst erstellt hat.
  YouTube-Video-Link
  Leider hat er dafür kaum Aufmerksamkeit bekommen. Laut Discord haben ihn schließlich zu viele Artists nur noch für Musikvideos in diesem Stil angefragt, sodass er das Projekt am Ende aufgegeben hat, statt musikalisch weiter zusammenzuarbeiten
• Ich bin David Rhodes, Mitgründer von CG Nomads. Ich habe GSOPs (Gaussian Splatting Operators) für SideFX Houdini entwickelt.
  Dieses Musikvideo wurde mit einer Kombination aus GSOPs und OTOY OctaneRender produziert.
  Wenn dich die Technik interessiert, schau dir die offizielle Website oder das GitHub-Repository an
  • Die ästhetische Seite dieser Technik ist wirklich faszinierend. Frühere Versionen sahen komplett wie glitchige 3D-Rauschwolken aus; mich würde interessieren, ob es Überlegungen gibt, absichtlich fehlerhafte Eingaben oder Sortierfehler kreativ zu „missbrauchen“
  • David, mich würde interessieren, ob du dir auch alternative 3DGS-Techniken wie Mesh Splatting angesehen hast. Das verspricht ja schnelleres Training und bessere Ergebnisse
  • Ich frage mich, ob es als Plug-in für Davinci Resolve möglich wäre, Raumdaten von zwei iPhones zusammenzuführen und zu einer 3D-Szene zu verschmelzen. Mit einem M4-Chip sollte das doch machbar sein
  • Es war von „hochwertigen 3D-Inhalten“ die Rede, aber im Video wirkte das eher nicht so
• Ich hätte nie gedacht, auf HN mal einen Post zu A$AP zu sehen. Diese Community ist wirklich unterhaltsam
  • Ich habe auch den ganzen Tag darüber nachgedacht, wie man das Helicopter-Musikvideo auf HN posten könnte, und freue mich, dass es schließlich jemand unter dem Blickwinkel Gaussian geschafft hat
  • Hat er im Video Lockenwickler im Haar?
  • Fast hätte es ein Carti-Post bis ganz nach oben auf HN geschafft
  • Ich musste auch zweimal hinschauen, wirklich unerwartet
  • Ich verstehe allerdings nicht, warum das als „cool“ gilt
• Ich würde gern eine einfache Erklärung hören, was Gaussian Splatting genau ist und was im Artikel damit gemeint ist, dass es „jetzt ausgereift genug“ sei
  • Dabei wird aus einer Szene zunächst eine Punktwolke erzeugt, und jeder Punkt wird dann durch ein verwaschenes Ellipsoid ersetzt, das mit einem differenzierbaren Renderer trainiert wird. So lässt sich eine 3D-Szene rekonstruieren, die fast exakt zu echten Fotos passt
  • Man kombiniert Aufnahmen aus mehreren Blickwinkeln, um ein Radiance Field des 3D-Raums zu schätzen. Dadurch lassen sich sogar Kamerawinkel simulieren, die es in der Realität gar nicht gab.
    In Tools wie Houdini können Artists diese Technik nutzen, um virtuelle Kameras frei zu bewegen
  • Jeder Punkt ist ein halbtransparenter Blob, dessen Farbe sich je nach Blickrichtung verändert. Damit lassen sich Reflexionen und Glanzlichter darstellen
  • Dieses zweiminütige Video ist ein guter Einstieg.
    Dank der Schlüsselarbeit von 2023 und Fortschritten bei GPU- und differenzierbarer Programmierung scheint das inzwischen auch in der Praxis nutzbar zu sein
  • Visuelle Demos gibt es in diesem Blogpost und auf dieser Website
• Das Video war wirklich großartig. Ich habe mehr als die Hälfte des Artikels nicht verstanden, aber gerade solche mit Fachbegriffen vollgestopften Sätze zu lesen macht irgendwie Spaß.
  Besonders beeindruckt hat mich die Stelle „Die Daten wurden in Houdini importiert, mit GSOPs bearbeitet und mit OctaneRender final gerendert“
  • Ich bin einer der Entwickler von GSOPs für Houdini. Gaussian Splats sind eine Methode, Realität mit zahllosen 3D-Ellipsoiden zu replizieren. Houdini ist stark darin, mit solchen großen Punktdatenmengen umzugehen, und Renderer wie Octane können das mit traditionellen CG-Elementen integrieren
  • Ich bin der Autor des Artikels. Gaussian Splatting ermöglicht realistische 3D-Rekonstruktion aus gewöhnlichen 2D-Bildern oder Videos als Eingabe. Es ist eine Art Radiance-Field-basierte Technik wie NeRF oder Plenoxel
  • Corridor Crew hat großartige Arbeiten mit Gaussian Splats gemacht. Ich empfehle dieses Video
  • Dieser Stil erinnert mich irgendwie an Kurtwood Smith in 『The Patriot』, wenn er Pfeifen verkauft
• Ich experimentiere gerade mit Gaussian Splatting als fotografischem Kunstmedium. Die expressionistischen Resultate, die bei knappen Daten entstehen, sind wirklich reizvoll.
  Meine Arbeiten
  • Die Werke sind unglaublich beeindruckend! Gibt es irgendwo mehr Details zu deinem Herstellungsprozess?
  • Die Ästhetik ist wirklich einzigartig und großartig
• Ehrlich gesagt sah das Video für mich nach älterem Unreal-Engine-Rendering aus. Vielleicht war diese Ästhetik beabsichtigt, aber ich frage mich, wie realistisch die Ergebnisse mit Gaussian Splatting tatsächlich werden können.
  Lässt sich die ursprüngliche Wirklichkeitsnähe erhalten, wenn man Beleuchtung oder Schatten neu setzt oder Teile der Szene verändert?
  Wenn Filmproduktion sich immer stärker in Richtung Mehrkameraaufnahme plus Nachbearbeitung bewegt, könnte eine Zeit kommen, in der Menschen als Gaussian Splats und Hintergründe per Greenscreen verarbeitet werden
  • Die Ästhetik dieses Videos bewahrt absichtlich die Artefakte von Gaussian Splatting. Gerade bei 4DGS treten zeitliche Inkonsistenzen auf, die beim Relighting noch deutlicher werden.
    Trotzdem entwickelt sich die Technik schnell weiter, und volumetrische Erfassung wird sich ziemlich sicher etablieren.
    In statischen Umgebungen ist die Qualität bereits sehr hoch, wie dieses Beispiel zeigt
  • Wenn man die Neigungen des Artists betrachtet, wirkt das eher wie eine Entscheidung für die Neuheit der Technik und kreative Freiheit als aus Budgetgründen
  • Für mich fühlte es sich an wie eine hochauflösende Version von Teardown, diesem voxelbasierten Spiel. Beleuchtung und Kamerabewegung erzeugen diesen Eindruck
  • Mit den richtigen Daten müsste schon heute 3D-Qualität auf IMAX-Niveau möglich sein
  • Andere Videos von A$AP verwenden ebenfalls gelegentlich bewusst eine Lo-Fi-/Retro-Ästhetik. In Yamborghini High wurde zum Beispiel ein MPEG-Beschädigungseffekt nachgeahmt
• Das Video selbst sollte man unbedingt sehen. Die Balance aus surrealen Effekten und menschlicher Performance ist wirklich stark.
  Wenn dir die Musik nicht gefällt, kannst du es auch stumm ansehen
  • A$AP Rockys anderes Stück Taylor Swif hat im Musikvideo ebenfalls eine ähnlich surreale und bizarre Stimmung. Die osteuropäisch wirkende Inszenierung greift das Thema absichtlich auf.
    Videolink
  • Wenn du bis zum Ende schaust, ist der letzte Splat kein Gaussian
• Direktlink zum Musikvideo: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • Gute Idee. Ich füge den Link auch oben im Haupttext ein
• Leider wurde mir nach etwa 30 Sekunden übel, also habe ich aufgehört. Die Technik ist trotzdem wirklich cool. Ging es noch jemandem wie mir?
  • Ich fand das Video richtig gut. Mir wurde überhaupt nicht schlecht
  • Meine Frau hatte dieselbe Reaktion, aber nach dem Intro wird es deutlich besser