Macro Splats 2025

• Gaussian Splat besteht aus mehreren unscharfen Ellipsoiden und hat die Eigenschaft, wie ein 3D-Foto aus verschiedenen Blickwinkeln betrachtet werden zu können
• Komplexe und feine Texturen von Makroobjekten wie Insekten lassen sich damit effektiv nachbilden
• Zur Lösung der Probleme durch die geringe Tiefenschärfe wurde die Technik des Focus Stacking eingeführt
• Mit automatisierter Ausrüstung und einer optimierten Aufnahmemethode wurden Effizienz und Qualität der Aufnahmen verbessert
• Abschließend wurde mit COLMAP und Postshot ein hochaufgelöstes 3D-Modell erstellt und veröffentlicht

---

Zusammenfassung von Macro Splats 2025

Konzept von Gaussian Splat und Umwandlung in 3D-Fotos

• Gaussian Splat ist eine Technik, bei der unscharfe Ellipsoide im 3D-Raum überlagert werden und jede Ellipse eine blickrichtungsabhängige Farbe erhält
• Ähnlich wie beim Training eines KI-Modells können durch wiederholte Optimierung mit mehreren Eingabefotos realistische 3D-Foto-Ergebnisse erzeugt werden
• Das Ergebnis dieser Methode sind 3D-Bilder, die aus verschiedenen Blickwinkeln realistisch betrachtet werden können

Motivation für den Einsatz bei Makroobjekten

• Makroobjekte wie Insekten mit vielen Haaren oder komplexer Struktur eignen sich sehr gut für die Darstellung mit Gaussian Splat
• Es wird betont, dass solche Texturen mit herkömmlichen Verfahren zur 3D-Rekonstruktion schwer darzustellen sind

Aufnahmeprozess mit Focus Stacking

• Aufgrund der Eigenschaften der Makrofotografie ist die Tiefenschärfe sehr gering, weshalb es schwierig ist, alle Bereiche scharf aufzunehmen
• Focus Stacking ist eine Technik, bei der aus demselben Winkel viele Bilder mit leicht unterschiedlichem Fokus aufgenommen und anschließend zu einem einzigen durchgehend scharfen Foto zusammengesetzt werden
• Normalerweise werden pro Stack 50 bis 500 Fotos benötigt, zur Steigerung der Effizienz wurde dies jedoch auf 16 Bilder pro Stack reduziert und eine Blende von f/18 verwendet
• Mit einer Rotationsscheibe, einem boom arm und einer automatischen Fokusschiene wurden die Insekten systematisch aus verschiedenen Winkeln aufgenommen
• Insgesamt wurden aus 111 Blickwinkeln 1776 Bilder aufgenommen, die gesamte Aufnahme dauerte etwa 4 Stunden

Aufbau des 3D-Modells und Nachbearbeitung

• Alle Bilder wurden per Batch-Focus-Stacking zu 111 hochaufgelösten Fotos verarbeitet
• Die Kamerapositionen wurden mit COLMAP rekonstruiert, außerdem wurden Farbkorrektur und Hintergrundmaskierung durchgeführt
• Die finalen Daten wurden in Postshot trainiert, um ein Splat-Modell zu erstellen; der Halterungsbereich (Mounting) wurde mit minimalem Retouching entfernt

Veröffentlichung und Nutzung des 3D-Modells

• Die fertigen Insektenmodelle können auf superspl.at frei in 3D betrachtet werden
• Das Cluster-Fly-Modell ist hier kostenlos verfügbar und darf mit Namensnennung sowohl kommerziell als auch nichtkommerziell genutzt werden

[GN⁺]

Hacker-News-Meinungen

• Von den Computergrafiken, die ich bisher gesehen habe, ist diese Mantis-Wespe sowohl eines der beeindruckendsten Werke überhaupt als auch Makrofotografie auf höchstem Niveau. Dass das Ganze in Echtzeit gerendert werden kann, ist ebenfalls erstaunlich. Vor ein paar Tagen gab es eine Diskussion über die PS6, und wenn ich noch an Konsolen- oder Spieleentwicklung beteiligt wäre, würde ich mir sehr viele Gedanken darüber machen, wie man solche Assets in Spiele bringen könnte
  • Gaussian Splats fehlt die Flexibilität, die normale Videospiele erfordern. Es ist kein echtes PBR, daher ist die Beleuchtung fast fest einkodiert. Rigging funktioniert nicht gut, und Editing ist ebenfalls sehr schwierig. Für die Visualisierung eines einzelnen Objekts ist es gut, aber zum Aufbau einer Szene mit vielen Elementen eher ungeeignet
• Sieht wirklich großartig aus. Als Feedback zur Website: Schwarzer Text auf grauem Hintergrund ist schwer lesbar, sodass ich den Reader-Modus verwenden musste
  • Die Farbsättigung der Seite ist so stark, dass ich dachte, ich würde irgendeinen hervorgehobenen Vordergrund übersehen, und die ganze Seite wirkte auf mich, als wäre sie der Hintergrund
  • Ich hatte eher genau die gegenteilige Erfahrung. Diese Website ist eine der wenigen, die ich auch mit Brille klar lesen kann, ohne dass die Buchstaben verschwimmen
• Diese Arbeit sieht wirklich fantastisch aus, und ich wäre nie auf die Idee gekommen, Makrofotografie mit Gaussian Splatting zu kombinieren. Vielen Dank, dass das als Free-Culture-Datei (CC BY) veröffentlicht wurde
• Eine Kollaboration mit dem Künstler von Exquisite Creatures Revealed wäre toll. Er präpariert verschiedene Insekten und stellt sie so aus, dass die Farben und der irisierende Effekt der Natur hervorgehoben werden. Ich war von der Ausstellung so beeindruckt, dass ich noch einmal hingegangen bin. Infos zum Künstler gibt es hier
• Ich frage mich, ob es Forschung dazu gibt, fokusdistanzabhängige Gaussian Splats anzupassen. Im Grunde als eine Art Modellierung von Bokeh: Wenn man die ursprünglichen RAW-Bilder einspeist, könnte man dann vielleicht ein insgesamt scharfes Modell erhalten?
  • Mehrere Teams forschen zu diesem Thema: dof-gs-Projekt, dof-gaussian-Projekt
• Ich frage mich, wie sie die irisierenden Reflexionen auf dem Körper der Fliege erfassen. Es wirkt teilweise so, als würde man durch die reflektierten Bereiche hindurch auf den Hintergrund schauen. Da die Reflexion je nach Winkel eine andere Farbe hat, dachte ich, dass die Erzeugung von Gaussian Splats kaum eine Lösung finden kann, die alle Lichtstrahlen erfüllt. Ich hätte zumindest erwartet, dass reflektierende Oberflächen schmutzig aussehen. Gibt es da irgendeinen geheimen Trick, oder missverstehe ich Gaussian Splats?
  • Die Farbe ändert sich je nach Blickwinkel, und das bedeutet, dass die Beleuchtung baked-in ist. Deshalb dürfte es schwer sein, das direkt für 3D-Animation oder Echtzeitumgebungen zu verwenden, auch wenn es natürlich Forschung zu dynamischer Beleuchtung geben könnte. Manchmal sieht es falsch aus; wenn man beim Fliegenmodell zum Beispiel zu nah herangeht, wirken Teile des Körpers transparent, und die specular highlights erscheinen als Splats auf der Rückseite innerer Oberflächen. Beim Spiegelmodell fällt das noch stärker auf, und man kann sogar tatsächlich durch den Spiegel hindurchgehen
  • Gaussian Splats können je nach Blickwinkel unterschiedliche Farben zugewiesen bekommen. Soweit ich weiß, wird das mit sphärischen Harmonischen umgesetzt. Die Winkelauflösung hängt von der Anzahl dieser harmonischen Komponenten ab; sind es zu wenige, ändern sich alle Reflexionen langsam und weich, und die Reflexionen werden unscharf
  • Laut FTA ist „ein Gaussian Splat im Wesentlichen eine Menge verschwommener Ellipsoide, wobei jedes Ellipsoid eine blickwinkelabhängige Farbe hat.“ Hoffe, das hilft
  • Empfehlenswert ist der Abschnitt "View-dependant colors with SH": passender Artikel
• Das drehbare Demo, das sogar im Browser auf dem Handy in Echtzeit läuft, funktioniert wirklich gut. Gaussian-Splat-Rendering scheint nicht besonders teuer zu sein; der hohe Rechenaufwand fällt wohl vor allem bei der Vorberechnung an
  • Auch die Dateigröße ist beeindruckend klein. Der Link ist gerade nicht zur Hand, aber es gibt bereits veröffentlichte 4D-Splats inklusive Bewegung, die man wie ein Video ansehen kann und in denen man sich auch innerhalb der Szene bewegen kann, und selbst diese Dateien liegen nur im Bereich einiger Megabyte
• Sehr coole Arbeit. Aber auf Mobilgeräten ist das 3D völlig unbenutzbar. Sobald ich im Orbit-Modus das 3D berühre, rastet es auf eine Ansicht der südlichen Hemisphäre ein, und egal wie ich drehe, der Bildschirm schwenkt wie verrückt hin und her
  • Ich bin PlayCanvas-Entwickler. Könntest du sagen, auf welchem Handy/Gerät das passiert ist? Es könnte ein Bug sein (Wortspiel nicht beabsichtigt)
• Das wurde kürzlich auch beim erneuten Besuch von "The Matrix" verwendet: YouTube-Video
• Das ist ein gewaltiger Fortschritt gegenüber den 23.806 Dreiecken in Echtzeit, die Stars/NoooN [1] gezeigt hat. [1] YouTube-Video
  • Ich frage mich, wann das gemacht wurde. Das YouTube-Video ist zwar 14 Jahre alt, wirkt aber noch viel älter