- Ein Bericht über den Weg zu einem 2D-Platformer-Spiel, in dem Spieler ihre eigenen Level entwerfen und eine KI die gerenderten Bilder erzeugt.
- Es wurde versucht, mit einem Bild aus gezeichneten Blöcken per ControlNet Depth mode auf einem mit Pixelbildern trainierten Modell Bilder zu erzeugen, aber die Ergebnisse waren nicht gut.
- Nach dem Wechsel zu Scribble mode und weiterem Feintuning des Prompts wurden etwas bessere Resultate erzielt.
- Da sich Kacheln nicht wiederholen mussten, wurde statt eines Pixelmodells auf ein Kinderillustrationsmodell gewechselt, wodurch nicht wiederholende, gemäldeartige Bilder entstanden.
- Die Ergebnisse wirkten zunächst gut, aber wegen der Grenzen des Scribble mode entstanden zu oft Bilder, bei denen nicht erkennbar war, wo der Boden ist.
- Deshalb ging es wieder zurück zum Depth mode; nachdem zusätzlich weiße Plattformen auf die Blöcke gezeichnet wurden, entstanden Bilder, in denen klar unterscheidbar war, wo der Spieler stehen kann.
- Allerdings ergaben selbst angepasste Prompts nur monotone Hintergründe.
- Um das zu lösen, wurden Elemente wie Plattformen, Blöcke, Blocksäulen und Hintergrund getrennt und ihre Tiefe angepasst, was zu deutlich hochwertigeren Bildern führte.
- Schließlich wurden die Blöcke von quadratischen in unregelmäßige Formen geändert, sodass der Boden nicht mehr eckig wirkte und ein finales Bild entstand, das eher wie die reale Welt aussah.
- Da eine Depth map vorhanden ist, wird die Welt auf Basis der Depth map segmentiert, um Objekte und den Spieler an passenden Positionen zu platzieren.
- All das wurde zu einem echten Spiel zusammengeführt und veröffentlicht.
2 Kommentare
Es wird wohl mehr Solo-Entwickler geben. Das ist eine wünschenswerte Entwicklung.
Ich finde ControlNet wirklich großartig, und es lässt mich auch denken, dass der Tag, an dem die AI-Revolution auch in Spielen ankommt, nicht mehr fern ist.