- Das Musikvideo zu A$AP Rockys neuem Song „Helicopter“ setzt fast sämtliche Darsteller-Performances mit volumetrischem Capture und Gaussian Splatting um
- Für die Aufnahmen kam ein Array aus 56 RGB-D-Kameras von Evercoast zum Einsatz, das reale Performances in 3D aufzeichnete; im Anschluss wurde mit Houdini und OctaneRender gerendert
- Über CG Nomads GSOPs und internes Tooling von WildCapture wurden Sequenzierung, Relighting und physische Interaktionen der Splat-Daten umgesetzt
- Trotz der surrealen Anmutung des Videos basieren alle Szenen auf der physischen Performance realer Darsteller
- Das Projekt gilt als praxisnaher Einsatzfall von dynamischem Gaussian Splatting in Popmusikvideos und zeigt das Potenzial künftiger Echtzeit-3D-Videoproduktion
Überblick über die Produktion des Musikvideos „Helicopter“
- A$AP Rockys „Helicopter“ ist ein Musikvideo auf Basis von Radiance-Fields-Technologie, bei dem nahezu alle Darsteller-Performances volumetrisch erfasst wurden
- Das Video zeichnet sich durch chaotische Bewegungen und die Energie eines frühen MTV-Stils aus
- Die Figuren wurden als Dynamic Splats gerendert, um eine räumliche Tiefenwirkung zu erzeugen
- An dem Projekt waren unter anderem Evercoast, Grin Machine, WildCapture und Fitsū.ai beteiligt
- Evercoast übernahm das Performance-Capturing, Chris Rutledge von Grin Machine wirkte als CG-Supervisor mit
- Wilfred Driscoll von WildCapture unterstützte technisch bei zeitlicher Konsistenz und Motion Transfer
Volumetrischer Dreh und technische Umsetzung
- Die Aufnahmen fanden im August 2025 in Los Angeles statt, synchronisiert mit 56 RGB-D-Kameras von Evercoast und zwei Dell-Workstations
- Die Darsteller hingen an Seilen oder an Deckenstangen und führten physische Stunts aus
- Rotorblätter des Hubschraubers oder Requisiten wurden durch echte Holzkonstruktionen ersetzt, um in einem realistischen Setup zu drehen
- Insgesamt wurden 10 TB Rohdaten gesammelt und zu rund 30 Minuten Splat-Video gerendert
- Das finale Ergebnis wurde als PLY-Sequenzen im Umfang von etwa 1 TB ausgegeben
Pipeline in der Postproduktion
- Die Postproduktion erfolgte in Houdini, wo mit CG Nomads GSOPs die Splat-Daten bearbeitet und sequenziert wurden
- Mit OTOYs OctaneRender waren Final Rendering und Relighting möglich
- Die Houdini-Integration von Octane ist inzwischen ausgereift genug, um Schatten und räumliche Tiefe darzustellen
- Blender wurde für Layout und Previsualisierung eingesetzt
- Splat-Sequenzen wurden in schlanke Proxy-Caches umgewandelt und für die Szenenplanung genutzt
- Mit internem Tooling von WildCapture wurden Skeletons aus Pose Estimation erzeugt, um Kollisionen und Physiksimulationen zu unterstützen
Echtzeit-Vorschau und Produktionseffizienz
- Das System von Evercoast liefert räumliches Echtzeit-Feedback direkt am Set
- Die Regie kann unmittelbar nach dem Dreh eine meshbasierte Vorschau prüfen und später über einen Web-Player das vollständige Splat-Rendering begutachten
- Noch vor dem Download der großen Datenmengen lassen sich nur die benötigten Szenen gezielt zur Nachbearbeitung auswählen
- Dieser Workflow ähnelt eher einer Simulation als klassischer Filmproduktion und ermöglicht schnelle sowie kosteneffiziente kreative Arbeit
Reale Performance und visuelle Täuschung
- Ein Teil des Publikums hielt das Video fälschlich für KI-generiert, doch alle Szenen basieren auf der physischen Performance realer Darsteller
- Stunts, Sprünge und Stürze wurden vollständig in realen Räumen ausgeführt
- Dank volumetrischem Capture lassen sich Kameraperspektiven neu anordnen und räumliche Kontinuität aufbrechen, was den künstlichen Eindruck verstärkt
- Die Radiance-Field-Technologie ersetzt die Realität nicht, sondern dient dazu, reale Bewegung und realen Raum zu bewahren
Frühere Zusammenarbeit von A$AP Rocky mit Radiance Fields
- A$AP Rocky hatte bereits im Musikvideo zu „Shittin’ Me“ aus dem Jahr 2023 NeRF und die Instant-NGP-GUI eingesetzt
- „Helicopter“ gilt nun in dieser Entwicklungslinie als groß angelegter Praxiseinsatz von dynamischem Gaussian Splatting
Noch keine Kommentare.