Infinigen: Unendliche photorealistische Welten durch prozedurale Generierung

• Infinigen ist ein „prozeduraler 3D-Szenerie-Generator“, der hochwertige 3D-Trainingsdaten für die Forschung in der Computer Vision erzeugt
• Es basiert auf Blender und wird unter der BSD 3-Clause License kostenlos als Open Source bereitgestellt

Hauptfunktionen und Merkmale

Prozedurale Erzeugung (Procedural)

• Alle Formen und Materialien werden anhand mathematischer Regeln zufällig generiert.
• Von Makrostrukturen bis zu feinsten Details ist alles generierbar.
• Unbegrenzte Möglichkeiten zur Variation und Anpassung.

Vielfältige Datenerzeugung (Diverse)

• Verschiedene Objekte und Szenen aus der natürlichen Welt wie Pflanzen, Tiere, Gelände, Feuer, Wolken, Regen und Schnee können generiert werden.
• Der anfängliche Fokus liegt auf natürlichen Umgebungen, doch eine Erweiterung auf künstliche Objekte und architektonische Umgebungen ist geplant.

Reale Geometrie (Real Geometry)

• Alle geometrischen Details werden tatsächlich modelliert, wodurch präzise 3D-Daten garantiert werden.
• Es werden keine virtuellen Detaildarstellungsverfahren wie Bump Maps oder Normal Maps verwendet.
• Optimiert für Computer Vision, insbesondere für die Forschung im Bereich der 3D Vision.

Automatische Annotationen (Automatic Annotations)

• Automatische Erzeugung hochwertiger Annotationen wie optischer Fluss, 3D-Scene Flow, Tiefe, Oberflächennormalen, Panoptic Segmentation und Okklusionsgrenzen.
• Durch den vollständigen Zugriff auf den gesamten Renderprozess ist die Anpassung der Annotationen leicht möglich.

--

Forschungsartikel

1. Infinite Photorealistic Worlds Using Procedural Generation

   • Vorgetragen auf der IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023
   • Eine Arbeit über die unendlichen Möglichkeiten prozeduraler 3D-Erzeugung.

2. Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation

   • CVPR 2024 geplant
   • Eine Studie zu einem prozeduralen Ansatz zur Erzeugung photorealistischer Innenraumszenen.

[GN⁺]

Hacker News Kommentar

• Ein wirklich cooles Projekt.

  • Ich habe eine Frage an ML/AI-Forscher: Gibt es dazu ML/AI-Papers, zum Beispiel darüber, Roboter in virtuellen Umgebungen zu trainieren?
  • Ich frage mich, welche Datensätze aktuell im Bereich ML/AI verwendet werden, um Roboter zu trainieren.

• Indoor-Szenen wirken vollständig plausibel, aber die Outdoor-Szenen sind deutlich schwächer. Sie wirken hinter dem aktuellen Stand der Technik zurück.

• Mir sind mehrere bekannte chinesische Universitäten in der Autorenliste aufgefallen. Ich frage mich, ob das einen Verstoß gegen Chip-Sanktionen oder Exportbestimmungen bedeuten könnte.

• Ich frage mich, ob das schon früher veröffentlicht wurde. Es wirkt großartig, aber ich glaube, dass es schon seit ein paar Jahren existiert. Mich würde interessieren, ob es ein Update gab.

• Vorheriger Beitrag: https://news.ycombinator.com/item?id=36373494

• In der README ist nicht klar, ob das bedeutet, unendlich viele Variationen zu generieren oder unendlich viele Welten zu erzeugen.

• Die Meta-Tag-Beschreibung muss aktualisiert werden, da beim Teilen Platzhalter-Inhalte angezeigt werden.

• Dass so etwas möglich ist, klingt wie eine Aussage über das Universum: Es gibt nicht so viele Informationen in der Umgebung, wie wir denken.

  • Das könnte insbesondere erklären, wie das kleine Gehirn von Tieren so erstaunlich effizient die Welt modellieren und verarbeiten kann.

• Der Matrix-ähnliche Einstieg ist nicht annähernd subtil.