-
KI-System zur Erzeugung von 3D-Welten
- World Labs entwickelt ein KI-System, das aus einem einzelnen Bild eine 3D-Welt erzeugt.
- Diese Technologie hat das Potenzial, die Produktion verschiedenster digitaler Inhalte wie Filme, Spiele und Simulatoren zu revolutionieren.
-
Erkundung der Welt
- Nutzer können die erzeugte 3D-Welt erkunden und sich mit den Pfeiltasten oder den WASD-Tasten bewegen sowie die Perspektive mit der Maus anpassen.
-
Kameraeffekte
- Über eine virtuelle Kamera wird die Szene in Echtzeit gerendert, wobei fotografische Effekte wie geringe Tiefenschärfe oder ein Dolly-Zoom umgesetzt werden können.
-
3D-Effekte
- Die Vorhersage der 3D-Szene bietet konsistente Realitätsnähe, Echtzeitsteuerung und eine korrekte geometrische Struktur.
- Über eine Tiefenkarte lässt sich die Entfernung jedes Pixels zur Kamera visualisieren.
-
In ein Bild eintreten
- Es werden Welten erzeugt, mit denen sich berühmte Kunstwerke auf neue Weise erleben lassen.
- Bereiche, die im Originalgemälde nicht vorhanden sind, werden vom Modell generiert.
-
Kreativer Workflow
- Die Erzeugung von 3D-Welten lässt sich nahtlos mit anderen KI-Tools kombinieren, um neue Erfahrungen zu schaffen.
- Mit Text-zu-Bild-Modellen werden aus Texten Bilder erzeugt, auf deren Basis anschließend 3D-Welten entstehen.
-
Ausblick
- World Labs arbeitet daran, Größe und Detailtreue der 3D-Welten zu verbessern und experimentiert mit neuen Formen der Interaktion mit Nutzern.
- Informationen zu künftigen Releases sind über eine Warteliste erhältlich; Interessierte werden zur Teilnahme ermutigt.
1 Kommentare
Hacker-News-Kommentare
Wenn man die Demo ausprobiert, ist das animierte Bild irreführend. Nach ein paar Schritten stößt man gegen unsichtbare Wände, was ziemlich enttäuschend ist. Ich verstehe, dass es sich um ein frühes Stadium handelt, aber es wirkt etwas überhypt.
Wenn man mit einem VR-Headset einen 3D-Film ansieht und den Kopf bewegt, zerfällt die 3D-Illusion. In 3D-Spielen kann man durch Kopfbewegungen den Raum erkunden. Wenn man das auf jedes Frame eines Films anwenden würde, könnte man ein wenig Bewegung und Perspektivwechsel beibehalten. Allerdings könnte dadurch die Intention von Regisseur und Kameramann beeinträchtigt werden.
Ich habe zwar Beschwerden über den kleinen Bereich, aber es ist erstaunliche Technik, ein Bild in eine 3D-Welt umzuwandeln. AI wird immer alltäglicher, aber das ist trotzdem noch eine beeindruckende Leistung.
Es gibt einen Ansatz, 360º-Bilder mit Depth Anywhere in virtuelle Tiefenkarten umzuwandeln und diese dann auf eine Point-Cloud für das Rendering anzuwenden. Anders als beim Beispiel von World Lab kann man dabei die Schwächen des Ansatzes untersuchen, indem man über die Grenzen der Point-Cloud hinausgeht. Es braucht aber weiterhin Verbesserungen.
Die Technik ist cool, aber nicht so beeindruckend wie cat-4d.github.io.
Vielleicht weil ich schon so viele AI-Demos gesehen habe, bin ich etwas abgestumpft, was die Frage angeht, wie man die Technik tatsächlich nützlich macht. Der Abschnitt "Step into Paintings" war unterhaltsam, aber sobald man das Ausgangsmaterial verlässt, werden die Grenzen des Modells sichtbar. Man kann Kunstwerke auf neue Weise erleben, aber es ist keine gute Erfahrung.
Es gibt die Erwartung, dass XYZ Aufnahmen aus Unreal und NVIDIA Isaac verallgemeinern könnte. Ich frage mich, ob XYZ diffusion-transformers, Chameleon oder eine neue Architektur ist. Die Entwicklung des Modells braucht Zeit und kann teuer werden. Das Team ist sehr talentiert, hat aber möglicherweise nicht genug Finanzierung.
Das Gute an solchen Projekten wird oft durch überzogene Behauptungen verwässert.
Das Ausgangsbild scheint gerendert zu sein und enthält Beleuchtung, Schatten usw. Bei der Nutzung anderer Tools funktionierte es nur mit Beispielbildern gut; mit anderen Bildern erhielt ich schwarze, flache Formen. Deshalb sollte die Überschrift eher lauten: "Erzeugung einer 3D-Welt aus einem einzelnen Bild mit einem von uns trainierten Modell".
Bei meinem ersten Versuch war ich überrascht, die Meldung "Out of bounds" zu bekommen. Im Abschnitt "Looking Ahead" sieht es so aus, als würden sie Größe und Genauigkeit verbessern.