CityGaussian: Echtzeit-Rendering hochwertiger großskaliger Szenen mit Gaußschen Verfahren

 (dekuliutesla.github.io)
1 Punkte von GN⁺ 2024-04-03 | 1 Kommentare | Auf WhatsApp teilen

CityGaussian: Gaußsches Verfahren für schnelles, hochwertiges Rendering großskaliger Szenen

  • CityGaussian (CityGS) präsentiert einen neuen Ansatz für effizientes Training und Echtzeit-Rendering von großskaligem 3D Gaussian Splatting (3DGS).
  • Durch globales Vorwissen über die Szene und adaptive Auswahl der Trainingsdaten werden effizientes Training und nahtlose Zusammenführung ermöglicht.
  • Auf Basis Gaußscher Primitivdaten werden komprimiert verschiedene Detailstufen erzeugt, und durch die vorgeschlagene blockweise Auswahl und Aggregationsstrategie für Detailstufen wird schnelles Rendering über unterschiedliche Maßstäbe hinweg erreicht.
  • Umfangreiche Experimente mit großskaligen Szenen zeigen, dass dieser Ansatz Rendering-Qualität auf dem neuesten Stand der Technik erreicht und großskalige Szenen mit stark unterschiedlichen Maßstäben konsistent in Echtzeit rendern kann.

Vergleich mit dem SOTA

  • LoD-Technik ohne CityGS: MatrixCity wird mit 25 Millionen Gaußschen Primitiven dargestellt und führt laut Tests auf einer A100 bei 18 FPS zu einem unangenehmen Roaming-Erlebnis.
  • LoD-Technik mit CityGS: Mit LoD-Unterstützung kann CityGS in stark unterschiedlichen Maßstäben in Echtzeit rendern; die durchschnittliche Geschwindigkeit beträgt laut Tests auf einer A100 36 FPS.

Visueller Vergleich

  • Die überlegene Rendering-Qualität von CityGS wird visuell mit bestehenden Verfahren wie MegaNeRF, SwitchNeRF, GPNeRF und 3DGS verglichen.

Meinung von GN⁺

  • CityGaussian stellt einen wichtigen technologischen Fortschritt für das Echtzeit-Rendering großskaliger 3D-Szenen dar. Dadurch steigen die Anwendungsmöglichkeiten in Bereichen wie Virtual Reality, Spieleentwicklung, Stadtplanung und Simulation.
  • Echtzeit-Rendering ist ein wesentlicher Faktor zur deutlichen Verbesserung der User Experience, und die von CityGaussian gebotene hohe Bildrate dürfte diese Erfahrung flüssiger und realistischer machen.
  • Allerdings erfordern Echtzeit-Rendering-Technologien in der Regel leistungsstarke Rechenressourcen, was in Bezug auf Kosten und Zugänglichkeit eine Einschränkung darstellen kann.
  • Für eine breite Einführung dieser Technologie sind neben Fortschritten bei der Hardware auch kontinuierliche Verbesserungen bei den Optimierungstechniken erforderlich.
  • Zudem könnten bereits andere Projekte oder Produkte mit ähnlichen Technologien wie CityGaussian auf dem Markt existieren; Nutzer sollten daher mehrere Optionen vergleichen, um die für ihre Anforderungen optimale Lösung auszuwählen.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-04-03
Hacker-News-Kommentare
  • Ein experimentelles Projekt wird vorgestellt, das Google Maps 3D Tiles mit Gaussian Splatting kombiniert. Mit dieser Technik wurden realitätsnahe Effekte erzielt, und es werden Beispiele mit zugehörigem Code bereitgestellt.
  • Der im Video verwendete Datensatz ist "Matrix city" und scheint aus der Matrix-Demo von Unreal Engine 5 extrahiert worden zu sein, die vor einigen Jahren veröffentlicht wurde. Vermutlich wurde er nicht aus Fotos, sondern mit photorealistischen Techniken erstellt.
  • Die durchschnittliche Bildrate beträgt 36 Frames pro Sekunde und wurde auf einer A100-Grafikkarte getestet. Diese Grafikkarte kostet ungefähr 8.000 $.
  • Die Technik namens Gaussian Splatting ist nach Gauß benannt. Er hat sie zwar nicht selbst erfunden, aber wesentlich zu den mathematischen Grundlagen dieser Technik beigetragen.
  • Es gibt eine technische Frage dazu, ob Gaussian Splatting die Technik ist, mit der Unreal Engine in letzter Zeit beeindruckende Demos zeigen konnte.
  • Es wird mit Interesse erwartet, unter welcher Lizenz diese Technik veröffentlicht wird, und es wird die Meinung geäußert, dass man ihren Einsatz in Open-Source-Spielen gern sehen würde.
  • Es gibt neugierige und interessierte Reaktionen auf die fortgeschrittene Technik, große Szenen mit 3D-Gauß-Verteilungen zu rendern, sowie den Wunsch, den Code selbst zu testen.
  • Es wird angemerkt, dass diese Technik gegenüber dem bestehenden Stadt-Simulationsspiel "Cities: Skylines" keinen deutlich sichtbaren Vorteil zu haben scheint und dass es schwierig ist, die tatsächliche Wirkung zu beurteilen, weil nur wenige Frames gezeigt werden.
  • Ein Kommentar stellt infrage, ob 3D Gaussian Splatting tatsächlich nützlich sein wird. Es wird die Sorge geäußert, dass das Rendering zu langsam ist und die Datenmenge zu groß, um praktisch zu sein, zusammen mit der Behauptung, dass Rasterisierung immer schneller als Raytracing sein werde. Außerdem wird erwähnt, dass es zwar interessant sei, aus Gaussian-Point-Clouds traditionelle Geometrie und Materialien zu erzeugen, Photogrammetrie jedoch bereits seit Langem verwendet werde.
  • Es gibt Fragen zu den Speicher- und Rechenanforderungen dieser Technik.