Detaillierte Beschreibung des Prozesses, mit dem bei Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) mithilfe von Stable Diffusion die Hintergründe für ein 2D-isometrisches (umgangssprachlich: Quarter-View) RPG erstellt wurden.
Verwendete Tools:
- Stable Diffusion v1.5
- Automatic1111 WebUI
- Alpaca Photoshop Plugin
- Boosting Monocular Depth
- Substance Designer
- Unity URP
- Amplify Shader Editor
Anfangs waren die Ergebnisse nicht gut, weil die Step Count zu niedrig angesetzt war. Nachdem sie jedoch auf Werte im 100er-Bereich erhöht und ein CFG (classifier free guidance) von 15–30 angewendet wurde, ergaben sich interessantere Resultate.
Die erzeugten Bilder wurden in Photoshop bearbeitet, und mit einem Stable-Diffusion-Plugin namens Alpaca wurde die Auflösung erhöht.
Um vorhandene Beleuchtung zu entfernen und die gewünschte Beleuchtung hinzuzufügen, wird eine Normal Map für die 2D-Szene benötigt. Die Erzeugung der Depth Map des Bildes wurde mithilfe von MiDaS und LeRes aus Boosting Monocular Depth automatisiert.
Die so erzeugte MiDaS-Depth-Map und das invertierte LeRes-Depth-Map-Bild wurden in Substance Designer mit dem Node Height to Normal World Units in eine Normal Map umgewandelt und anschließend mit einem Normal-Blend-Node kombiniert.
Es wurde versucht, mithilfe der Depth- und Normal-Maps eines mit Amplify Shader Editor erstellten benutzerdefinierten Unity-URP-Shaders Parallax Occlusion Mapping einzusetzen, um der Kamerabewegung eine subtile künstliche 3D-Perspektive zu verleihen. Da die Depth im isometrischen View jedoch nicht präzise war, sah das Ergebnis nicht besonders gut aus.
Es wurde auch versucht, per Normal-Mapping-Shadow Schatten von direktionalem Licht hinzuzufügen, doch für echtes Lighting war dies nicht geeignet. Möglich wäre ein Einsatz als benutzerdefinierter Lighting-Pass für die Schattierung von 3D-Charakteren.
Ein 2K-Bild wurde in vier Teile zerlegt und für jeden Teil in img2img mit demselben Prompt wie zuvor die Auflösung erhöht, wobei jedoch das Problem entstand, dass die Übergänge an den Kanten nicht nahtlos zusammenpassten. Letztlich wurden durch denselben Prozess zusätzliche Bilder erzeugt, die die bereits hochskalierten vier Teilbilder miteinander verbinden, und diese wurden in Photoshop zusammengesetzt, sodass am Ende ein 4K-Bild entstand.
Verwandte GeekNews:
https://de.news.hada.io/topic?id=7206
1 Kommentare
Der Entwickler hat außerdem den übrigen Entwicklungsprozess veröffentlicht:
3D-Charaktermodelle mit Stable Diffusion erstellen:
https://talesofsyn.com/posts/creating-3d-character-models
Ein DreamBooth-Modell im isometrischen Stil feinabstimmen:
https://talesofsyn.com/posts/fine-tuning-isometric-style