- LL3M nutzt mehrere große Sprachmodelle, um automatisch Python-Code zu schreiben und damit in Blender 3D-Assets zu erstellen und zu bearbeiten
- Anhand von Textanweisungen der Nutzer erzeugt es direkt kreative und präzise Formen und setzt komplexe geometrische Operationen als Code um
- Im Unterschied zu bestehenden Tools zur 3D-Modellerzeugung bietet es uneingeschränkte Asset-Erstellung und fein granularen Interaktion
- Der erzeugte Blender-Code ist klar und bietet eine hohe Parametertransparenz, sodass Nutzer oder Agenten ihn leicht anpassen oder iterativ verbessern können
- Es zeigt breite Möglichkeiten für die Verarbeitung von 3D-Assets, darunter konsistente Stilisierung, Materialbearbeitung und Umsetzung von Hierarchiestrukturen
Überblick über LL3M
- LL3M ist ein innovatives Framework, bei dem mehrere LLM-Agenten Python-Code schreiben, um 3D-Assets in Blender zu erstellen und zu bearbeiten
- Wenn Nutzer Anweisungen per Text geben, automatisiert LL3M die Erzeugung kreativer Formen und präziser geometrischer Manipulationen und nutzt hochrangigen Code als 3D-Darstellungsform, wodurch iterative Verbesserungen und Zusammenarbeit möglich werden
- Der Code ist klar erläutert, und verschiedene Parameter und Strukturen werden transparent offengelegt, was zusätzliche Bearbeitung und fortlaufendes Feedback der Nutzer erleichtert
Überblick über die Pipeline
- Die Pipeline besteht aus drei Hauptphasen: anfängliche Erzeugung, automatische Verbesserung und Verbesserung auf Basis von Nutzerfeedback
- In der Phase der anfänglichen Erzeugung werden Grundformen erstellt, während LL3M logisch unpassende Strukturen oder einfache geometrische Elemente automatisch erkennt und verbessert
- Die zweite Phase nimmt weiter verfeinerte automatische Korrekturen vor und berücksichtigt dabei auch komplexe Formen und Beziehungen
- Die letzte Phase nimmt zusätzliche Bearbeitungswünsche der Nutzer auf und ermöglicht interaktive und iterative 3D-Asset-Erstellung
- Jede Phase setzt auf eine Rollenverteilung zwischen den Agenten und realisiert so eine iterative und schrittweise Verbesserung
Galerie und Leistung
- Erzeugung vielfältiger Formen: Komplexe Anordnungen und feine Details wie Windmühlen, Klaviere und Drumsets werden als Code umgesetzt
- Anwendung konsistenter Stile: Dieselbe Anweisung "steampunk" wird auf mehrere Meshes (Hüte) angewendet, wodurch Ergebnisse mit gemeinsamem Stil und zugleich Variationen entstehen
- Unterstützung für Materialbearbeitung: So kann zum Beispiel nur der Klingenbereich separat über Shader-Nodes definiert werden, um das Material zu ändern
Interpretierbarkeit des Codes
- Der erzeugte Code enthält strukturelle Logik, klare Variablennamen und Kommentare, wodurch er leicht zu verstehen und zu modifizieren ist
- Beispiel: Die Logik für ein Tastaturmuster oder Variablen für Tastenbreiten können direkt geändert werden
- Blender-Nodes und Parameter sind unmittelbar sichtbar, sodass visuelle Eigenschaften wie Farben und Muster intuitiv angepasst werden können
Wiederverwendbarkeit und Allgemeingültigkeit des Codes
- Selbst bei unterschiedlichen Formen werden übergeordnete Code-Muster wie Schleifen, Modifier und Node-Setups wiederverwendet
- Dadurch wird die Erzeugung modularen und anpassbaren Codes für verschiedene Prompts möglich
Szene und Hierarchiestruktur
- Mehrere Objekte werden erzeugt und ihre räumlichen Beziehungen automatisch über Instancing und Parenting angeordnet
- Beispiel: Beim Erzeugen zusammengesetzter Objekte wie einer Lampe wird eine Eltern-Kind-Beziehungsstruktur abgebildet, damit Transformationen hierarchisch weitergegeben werden
- Jeder Teil erhält aussagekräftige semantische Namen, sodass er im Scene Graph von Blender effizient verwaltet werden kann
Noch keine Kommentare.