MyMallow – ein mit RealityKit umgesetztes 3D-Emotions-Tagebuch für Charaktere

Wir stellen MyMallow vor, eine iOS-App, mit der Nutzer ihre eigenen Gefühle als 3D-Charaktere personifizieren und selbst gestalten können. Das Projekt wurde über zwei Monate entwickelt und konzentriert sich nicht nur auf das Schreiben von Tagebüchern, sondern auf die „Erstellung von 3D-Inhalten mit aktiver Nutzerbeteiligung“.

Hauptfunktionen

• Benutzerdefinierte Texturen: Zeichnungen, die Nutzer auf einer Canvas erstellen, werden mit dem Vision-Framework analysiert und in Echtzeit auf die Materialien des 3D-Modells gemappt.
• Eigenes Motion Capturing: Zusätzlich zu 195 integrierten Bewegungen können Nutzer mit Body Position Tracking von ARKit ihre eigenen Bewegungen direkt aufzeichnen und auf den Charakter anwenden.
• Autonom agierende NPCs: Durch die Kombination der State Machine von GameplayKit mit Pathfinding verhalten sich die Charaktere passend zur Umgebung autonom, etwa indem sie in der Nähe eines Lagerfeuers tanzen.

Zentrale technische Umsetzungspunkte

• RealityKit & 3D-Pipeline: Mit Blender erstellte Modelle werden in .usdz konvertiert und verwendet; zur Laufzeit werden Texturen und Rigging-Struktur des Modells dynamisch gesteuert.
• Bewegungsoptimierung: Um Rauschen in den aufgezeichneten Daten zu reduzieren, wurden ein Low-Pass-Filter und Slerp (sphärische lineare Interpolation) eingesetzt, um flüssige Animationen zu erzielen.
• Physik und Spatial Audio: Durch eine auf Collision Detection basierende Physiksimulation und ein Partikelsystem mit Unterstützung für Spatial Audio wurde ein immersiver 3D-Raum geschaffen.
• Integration von Bone-Strukturen: Um die unterschiedlichen Bone-Strukturen von Mixamo (65) und Apple ARBody (91) zu bewältigen, wurde ein Ansatz gewählt, bei dem je nach Situation zwischen unterschiedlich geriggten Modellen gewechselt wird.

Dieses Projekt geht über ein reines Aufzeichnungstool hinaus und erkundet die vielfältigen Möglichkeiten von RealityKit.

👉 App Store