MeshAnything-Technologie zur Umwandlung von 3D-Darstellungen in effiziente 3D-Meshes

MeshAnything: Erzeugung von artistenerstellten Meshes

Überblick

• MeshAnything ahmt nach, wie menschliche Künstler Meshes aus 3D-Darstellungen extrahieren.
• Es kann mit verschiedenen 3D-Asset-Produktionspipelines kombiniert werden, um für die 3D-Industrie einsetzbare artistenerstellte Meshes (AM) zu erzeugen.

Vergleich mit bestehenden Methoden

• MeshAnything erzeugt Meshes mit hunderten Mal weniger Flächen und verbessert dadurch die Effizienz bei Speicherung, Rendering und Simulation erheblich.
• Es erreicht eine ähnliche Präzision wie bestehende Methoden.

Methode

• MeshAnything ist ein autoregressiver Transformer, der artistenerstellte Meshes erzeugt, die an eine vorgegebene 3D-Form angepasst sind.
• Es sampelt Point Clouds aus den gegebenen 3D-Assets, kodiert diese in Merkmale und speist sie in einen reinen Decoder-Transformer ein.
• Anstatt komplexe Verteilungen von 3D-Formen zu lernen, konstruiert es Formen effizient über optimierte Topologie.

Weitere Ergebnisse

• Durch die Integration mit verschiedenen Methoden zur 3D-Asset-Produktion wird eine hochgradig steuerbare Erzeugung artistenerstellter Meshes erreicht.
• MeshAnything erzeugt Meshes mit besserer Topologie und weniger Flächen und kann bei ähnlicher Form eine vollständig andere Topologie erzeugen.

Meinung von GN⁺

• Effizienz: MeshAnything erzeugt Meshes mit deutlich weniger Flächen als bestehende Verfahren zur Mesh-Erzeugung und verbessert dadurch die Speicher- und Rendering-Effizienz erheblich.
• Anwendbarkeit: Da es sich in verschiedene 3D-Asset-Produktionspipelines integrieren lässt, ist das Einsatzpotenzial in der gesamten 3D-Industrie hoch.
• Technischer Vorteil: Es kann Formen effizient über optimierte Topologie konstruieren, ohne komplexe Verteilungen von 3D-Formen lernen zu müssen.
• Kritische Perspektive: Bei der Einführung neuer Technologie könnte es Kompatibilitätsprobleme mit bestehenden Systemen oder eine anfängliche Lernkurve geben.
• Empfohlene Alternative: Andere Projekte mit ähnlicher Funktionalität sind etwa MeshGPT; ein Vergleich der Vor- und Nachteile der einzelnen Projekte ist sinnvoll.

[GN⁺]

Hacker-News-Kommentare

• Angesichts der häufigen Kritik an Forschungsarbeiten zur 3D-Modellerzeugung ist diese Studie zu begrüßen. Schade ist allerdings die nichtkommerzielle Lizenz. Laut den Informationen auf GitHub benötigt die Mesh-Erzeugung auf einer A6000-GPU etwa 7 GB und 30 Sekunden, und es können nur Meshes mit weniger als 800 Flächen erzeugt werden.
• Das ist das Beste unter den Low-Polygon-Ergebnissen. Es ist zwar immer noch ein Dreiecks-Mesh, aber es wird allmählich besser.
• Das Endziel sind polygonale Meshes mit Schwerpunkt auf Vierecken, Edge Smooth/Crease, natürliche Texture-UVs und die Erzeugung von PBR-Texturen über wiederholte Texturen. Danach sollte es in Richtung Inferenz von CAD-Modellen aus Bildern weitergehen.
• Um große Meshes oder Point Clouds zu verarbeiten, die mit LiDAR-Scans oder Photogrammetrie erzeugt wurden, braucht man leistungsstarke PCs und teure Software. Es wäre nützlich, Meshes zu verkleinern, damit sie im Web geteilt werden können.
• Ich habe Erfahrung mit der manuellen Verarbeitung von Point-Cloud-Scans. Dabei entstanden 450 GB an Daten, und ein früheres Projekt hatte 2,1 TB. Der Maßstab dieser Arbeit wirkt wie Spielzeug, aber ein Anfang ist wichtig.
• KI-generierte Meshes als „von Künstlern erstellt“ zu bezeichnen, ist irreführend.
• Gut, dass im Abschnitt über gesellschaftliche Auswirkungen die Senkung der Arbeitskosten erwähnt wird. Wichtig ist, dass damit nicht gemeint ist, dass Künstler überflüssig werden.
• Ich werde einige komplexe Modelle testen.
• MeshAnything erzeugt Meshes mit hundertfach weniger Flächen und verbessert dadurch die Effizienz bei Speicherung, Rendering und Simulation erheblich.
• Ich habe die Online-Demo ausprobiert, aber im ausgegebenen Mesh entstanden Löcher, die im Original nicht vorhanden waren. Ich frage mich, ob es ein Problem mit dem Algorithmus gibt.
• Das konvertierte Mesh ist nicht effizient und enthält viele n-Gons, sodass Retopologie-Arbeit nötig ist.