Generative Bilddynamik

• Artikel über einen neuen Ansatz von Google-Forschern zur bildraumzentrierten Modellierung von Szenendynamik
• Training des Modells mithilfe von Bewegungsbahnen, die aus realen Videosequenzen mit natürlichen Schwingungsbewegungen extrahiert wurden
• Das Modell sagt im Fourier-Bereich langfristige Bewegungsrepräsentationen pro Pixel mithilfe eines frequenzgesteuerten Diffusions-Sampling-Prozesses vorher; diese werden als neuronale stochastische Bewegungstexturen bezeichnet
• Diese Repräsentation lässt sich in dichte Bewegungsbahnen umwandeln, die das gesamte Video abdecken
• Das Modell kann für verschiedene Anwendungen genutzt werden, etwa um statische Bilder in nahtlos wiederholbare dynamische Videos umzuwandeln oder es Nutzern zu ermöglichen, mit Objekten in realen Fotos auf realistische Weise zu interagieren
• Das Modell kann die Reaktion der Objektdynamik auf die Anregung durch interagierende Nutzer simulieren
• Durch Anpassen der Amplitude der Bewegungstextur lässt sich die Bewegungsstärke verringern oder verstärken
• Durch Interpolation der vorhergesagten Bewegungstextur lassen sich Zeitlupenvideos erzeugen
• Die Forscher danken Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo und Lucy Chai für ihre Beiträge in Form von Korrekturen, Kommentaren und Diskussionen
• Die für die Demonstration verwendete Website wurde von nerfies übernommen; besonderer Dank gilt Keunhong