Infinigen: Unendliche fotorealistische Welten durch prozedurale Generierung

 (github.com/princeton-vl)
2 Punkte von GN⁺ 2024-12-24 | 1 Kommentare | Auf WhatsApp teilen
  • Infinigen ist ein Projekt zur Erzeugung fotorealistischer Welten mittels prozeduraler Generierung und bietet Einstiegshilfen für Naturszenen, Innenraumszenen und artikulierte Simulations-Assets
  • Nach der Installation können Nutzer über die Abläufe Infinigen-Indoors, Infinigen-Nature und Infinigen-Articulated mit der Erstellung von Raumszenen, Naturszenen und artikulierten Assets für Simulatoren beginnen
  • Zugehörige Forschung setzt sich fort mit dem CVPR-2023-Paper Infinite Photorealistic Worlds using Procedural Generation, dem CVPR-2024-Paper Infinigen Indoors und dem arXiv-Paper von 2025 Infinigen-Articulated
  • Die Dokumentation umfasst Installation, Kamera-Konfiguration, Download vorab generierter Daten, Erzeugung einzelner Assets, Export in externe Dateiformate wie OBJ und OpenUSD, Export für Physiksimulationen sowie erweitertes Ground Truth
  • Möglichkeiten zur Mitwirkung gliedern sich in Repository-Code, prozedurale Generatoren und vorab generierte Daten; außerdem werden ein Werkzeug zur Umwandlung von Blender Nodes in Python-Code sowie ein Support-Prozess über GitHub Issues beschrieben

Was Infinigen generieren kann

  • Infinigen ist ein Projekt, das mit prozeduraler Generierung fotorealistische Welten erzeugt
  • Der Einstieg wird in drei Pfaden angeboten
    • Hello Room: erzeugt Innenraumszenen mit Infinigen-Indoors
    • Hello World: erzeugt Naturszenen mit Infinigen-Nature
    • Infinigen-Articulated: bietet einen Ablauf zur Erzeugung artikulierter Simulations-Assets und zum Export in Simulatoren
  • Das Projekt stellt außerdem eine Website, ein Einführungsvideo, Paper, Dokumentation und Hinweise zur Mitwirkung bereit

Einstieg und Beispiele

  • Zuerst muss die Installation gemäß den Installation Instructions erfolgen
  • Die Einstiegsdokumentation für Infinigen-Indoors befindet sich in HelloRoom.md
    • Beispielbilder zeigen Blender-Szenen, Render-Ergebnisse, depth und object-bezogene Ausgaben
  • Die Einstiegsdokumentation für Infinigen-Nature befindet sich in HelloWorld.md
    • Beispielausgaben umfassen Bilder, depth, surface normal und instance segmentation
  • Der Einstiegsablauf für Infinigen-Articulated befindet sich in der Dokumentation Exporting to Simulators
    • Behandelt werden Anwendungsfälle für den Export artikulierter Assets in Simulatoren

Zugehörige Paper

Umfang der Dokumentation

  • Die Dokumentation behandelt nicht nur Installation und die Erzeugung der ersten Szene, sondern auch Abläufe für Konfiguration, Kameras, Daten und Export
  • Zu den bereitgestellten Dokumentationspunkten gehören
    • Installation Guide
    • “Hello World”: Erzeugung der ersten Infinigen-Nature-Szene
    • “Hello Room”: Erzeugung der ersten Infinigen-Indoors-Szene
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, z. B. OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • Die Projekt-Roadmap wird auf der Roadmap-Seite der Infinigen-Website bereitgestellt

Mitwirkung und Support-Prozess

  • Es werden drei Wege zur Mitwirkung beschrieben
    • Mitwirkung am Repository-Code: Code-Beiträge sind willkommen, ausführlichere Richtlinien sollen später folgen
    • Mitwirkung an prozeduralen Generatoren: infinigen/nodes/node_transpiler/dev_script.py stellt ein Werkzeug bereit, das artist-friendly Blender Nodes in Python-Code umwandelt
    • Mitwirkung an vorab generierten Daten: Jeder kann mit Rechenleistung Daten erzeugen und mit der Community teilen; ein Repository für vorab generierte Daten soll später bereitgestellt werden
  • Für Hilfsanfragen wird auf die GitHub-Issues-Seite verwiesen
  • Zur Reproduktion von Problemen soll der Befehl mit --debug ausgeführt werden, und folgende Informationen sollen enthalten sein
    • Rechenumgebung einschließlich OS-Version, CPU, RAM, GPU und Treiber
    • Verwendete Code-Version und Link zum Commit-Hash sowie Angaben dazu, ob Änderungen vorgenommen wurden
    • Der exakt ausgeführte Befehl
    • Ausgabelogs
      • Bei Verwendung von manage_jobs finden sich die Logs unter outputs/MYJOB/MYSEED/logs/
      • Falls vorhanden, sollen Python-Fehler und Stacktrace mitgeliefert werden

Basisprojekte und Veränderungen

  • Infinigen erklärt, dass das Projekt ohne die Arbeit der Blender Foundation und von Open-Source-Beitragenden nicht möglich gewesen wäre
  • Besonders erwähnt werden die verwendeten Projekte Land-Lab, BlenderProc, Blender-FLIP-Fluids und Blender-Differential-Growth
  • Thomas Kole wird für die Bereitstellung prozeduraler Wolken ausdrücklich gedankt
  • Verschiedene Online-Blender-Tutorials lieferten prozedurale Generatoren für frühe Experimente und werden als Inspirationsquellen für die Implementierung des offiziellen Releases aufgeführt
  • Infinigen hat sich seit der CVPR-Paper-Version stark verändert
    • Derzeit enthält es teilweise CC-0-lizenzierten prozeduralen Code aus dem Internet
    • Solcher Code ist an den jeweiligen Stellen durch Code-Kommentare gekennzeichnet
    • In der CVPR-Version war solcher Code nicht enthalten

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-12-24
Hacker-News-Kommentare

  • Ein wirklich cooles Projekt.
    Ich würde gern von den ML-/AI-Forschern auf HN wissen, ob es Papers gibt, die so etwas fürs Training nutzen. Zum Beispiel, um Roboter in virtuellen Umgebungen zu trainieren.
    Außerdem interessiert mich, welche Datensets heutzutage im ML-/AI-Bereich für Robotertraining verwendet werden.

    • Laut Video ist „Infinigen zu 100 % prozedural generiert. Es nutzt nur mathematische Regeln, keinerlei AI, es ist einfach Grafik.“
      Zeitstempel: https://youtu.be/6tgspeI-GHY?t=107
    • Ich glaube, ich habe ein Video von Nvidia Research gesehen, in dem Roboter und Ähnliches mit generierten Umgebungen trainiert wurden.
      Ich kann es auf die Schnelle nicht finden, aber Nvidias Omniverse ist dabei einer der zentralen Bausteine.

  • War das nicht schon einmal hier? Es ist definitiv cool, aber meines Wissens ist das Projekt schon ein paar Jahre alt. Ich frage mich, ob es ein Update gab.

  • Innenraumszenen wirken vollkommen plausibel, aber im Außenbereich gibt es noch viele Schwächen. Vom State of the Art ist das noch ziemlich weit entfernt.

    • Was wäre denn dann der State of the Art, wenn es Open Source ist, möglichst als Bibliothek nutzbar und keine generative AI? Ich denke an Interaktion/Game-Entwicklung/Echtzeit-Anwendungsfälle.
    • Es liegt sogar hinter mehreren Versionen von No Man's Sky zurück, und erst recht im Vergleich zu all dem verrückten Zeug, das die LLM-Leute gerade bauen.
    • Man muss aber anerkennen, dass das Meerwasser deutlich besser aussah als in jedem aktuellen Videospiel. Der Rest, ja.
    • Was sollte man denn als State of the Art ansehen?

  • Dass so etwas möglich ist, scheint etwas über das Universum auszusagen. Vielleicht enthält die Umgebung nicht so viel Informationsmenge, wie wir denken.
    Das könnte auch die unvernünftig hohe Effizienz erklären, mit der Gehirne, insbesondere die kleinen Gehirne von Tieren, die Welt modellieren und darin funktionieren.

    • Das ist eine sehr oberflächliche Sicht auf das Universum.
      Existenz ist nicht darauf beschränkt, ob etwas beobachtet wird. Das Gehirn hat sich so entwickelt, dass es nur das Minimum an Informationen sammelt, das nötig ist, um einen Organismus in einer bestimmten Umgebung am Leben zu halten. Aber selbst in den Dingen, die wir wahrnehmen können, steckt im Universum unermessliche Komplexität.
      In der 3D-Modellierung sind solche Details nicht wichtig, deshalb kann man sich Fotorealismus annähern. Das Rendering sieht gut genug aus, um das Gehirn glauben zu lassen, es sehe Objekte aus der realen Welt. Aber es ist nur eine gute Annäherung an den visuellen Aspekt und keineswegs eine korrekte Darstellung realer Objekte. Dafür reichen die Rechenressourcen bei Weitem nicht aus.
      Erst seit Kurzem können wir in Echtzeit modellieren, wie Licht sich in der realen Welt verhält, und selbst das ist nur eine Annäherung. Jedenfalls sieht Infinigen nach einem coolen Produkt aus, und es ist schön, nach längerer Zeit mal wieder klassische Simulation statt AI zu sehen.
    • Wenn „die Tatsache, dass so etwas möglich ist, etwas über das Universum aussagt“, dann sagen auch die Charaktermodelle aus Final Fantasy 7 etwas über das endokrine System des Menschen aus.
      Aeris liest sich eindeutig als Mensch, obwohl man ihre Nebennieren nicht sieht; also könnte es in der Realität vielleicht auch keine Nebennieren geben.
    • „Die Karte ist nicht das Gebiet.“
    • „Unten ist noch immer viel Platz.“[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • Ich denke, es zeigt mehr über das menschliche Gehirn als über das Universum. Es zeigt, wie leicht unsere Wahrnehmung zu täuschen ist.

  • Aus dem README allein wird nicht klar, ob unendlich hier bedeutet, dass man unendlich viele Varianten einer Szene erzeugen kann, oder ob tatsächlich eine unendliche Welt generiert wird.

  • Früherer Beitrag: https://news.ycombinator.com/item?id=36373494

  • Die Meta-Tag-Beschreibung sieht beim Teilen nach Placeholder-Text aus und sollte aktualisiert werden.

  • In der Autorenliste stehen mehrere große chinesische Universitäten; bedeutet das auf den ersten Blick nicht einen Verstoß gegen Chip-Sanktionen/Exportvorschriften?

    • Im Paper steht, dass die Koautoren die Forschung durchgeführt haben, als sie in Princeton waren.

  • Die Matrix-artige Einleitung ist überhaupt nicht subtil.