3D-Charaktermodelle mit Stable Diffusion erstellen (Tales of Syn)

Tales of Syn setzt im Spieleentwicklungsprozess generative KI bereits umfassend ein – von Dialogen mit NPCs über Hintergrundbilder für Levels (Maps) bis hin zur Charaktererstellung. Dieser Beitrag stellt den Workflow zur Erstellung von 3D-Charaktermodellen mit Stable Diffusion vor.

[Arbeitsablauf]

1. Eine auf dem iPad in Artstudio Pro skizzierte Zeichnung wird in Automatic1111 WebUI umgewandelt.

2. Bei der Generierung werden mehrere Varianten erstellt (etwa 9 pro Durchlauf, wiederholt), anschließend werden die Ergebnisse in Photoshop als Ebenen übereinandergelegt und nur die gefallenden Bereiche ausgewählt und kombiniert.

3. Ausgehend von der ersten Skizze aus Schritt 1 wird in ZBrush mithilfe von DynaMesh ein Modell erstellt.

4. Das finale Charakterbild aus Schritt 2 wird per Spotlight geladen, und mit einem Pinselwerkzeug, bei dem RGB und Zadd deaktiviert sind, werden die Bildinformationen als Polypainting auf das Mesh aufgetragen, dessen Vertex-Farben gespeichert sind.

5. Mit UVMaster werden UVs erstellt, in Substance Painter wird eine Normal Map erzeugt und anschließend für Unity URP exportiert.

[Geplante Verbesserungen]

• Erstellung eines segmentierten Basis-Meshes, das für ähnliche andere Charaktere wiederverwendet werden kann

• Ausführung eines zweiten Texture-Projection-Passes in Substance Designer für höherwertige Texturen

• Erstellung benutzerdefinierter Animationen passend zu diesem Charakter

• Untersuchung weiterer KI-Prozesse zur Automatisierung oder Verbesserung des Workflows