Mit Vision Pro ein Haus vor der Fertigstellung in Originalgröße begehen

• Wenn man einen Grundriss in einen immersiven 3D-Raum in Originalgröße verwandelt, kann man noch vor dem Hausbau Raum- und Flurgrößen, Laufwege und den Ausblick vom Eingangsbereich direkt erleben und den Entwurf prüfen
• In Fusion 360 werden Boden, Wände und Decke erstellt, anschließend Materialien und Möbel platziert und dann als USDZ exportiert, um den Entwurf auf Vision Pro zu erkunden
• Betten, Schreibtische, Haushaltsgeräte und Automodelle lassen sich von IKEA und 3D Warehouse beziehen, für den Import in Fusion 360 müssen glb oder USDZ jedoch in OBJ konvertiert werden
• Prospector, erstellt mit Claude und Codex, unterstützt Controller-Bewegung, Gelände-Following, Fliegen, Umschalten zur Realansicht, 6-fache Geschwindigkeit und Skyboxen und ermöglicht damit freiere Erkundung als der Standard-USDZ-Viewer
• Designänderungen werden übernommen, indem das Modell in Fusion 360 angepasst und erneut exportiert wird; so lässt sich der Raum schon vor der Fertigstellung verstehen und mit dem Ehepartner oder Freunden besprechen

---

Räumlichkeit, die sich aus Grundrissen allein schwer erfassen lässt

• Nach dem Leben in einer Wohnung und beim Bau des ersten eigenen Hauses mussten unzählige Entscheidungen getroffen werden, etwa zur Position von Wänden, die sich später nur schwer rückgängig machen lassen
• Bei hohen Hauspreisen muss jede Fläche effizient genutzt werden, aber mit schwarzen Rechtecken in einem PDF-Grundriss und Zahlen wie 13×15 Fuß war das tatsächliche Raumgefühl schwer zu erfassen
  • ob sich ein Flur zu eng anfühlt
  • was man beim ersten Betreten des Hauses sieht
  • wie groß sich die einzelnen Räume tatsächlich anfühlen
• Vision Pro mit hochauflösendem Display und zahlreichen Sensoren wurde als Gerät gewählt, um das virtuelle Haus direkt zu betreten

Ein Hausmodell mit Fusion 360 erstellen

• In Fusion 360, das für Hobbyanwender kostenlos nutzbar ist, wird der Grundriss zunächst in 2D gezeichnet, dann werden Wände extrudiert sowie Boden, Decke und Türöffnungen ergänzt
• Man kann ohne komplexes Modeling anfangen, daher eignet sich das Projekt gut als Einstieg in 3D-Designtools
  • YouTube und KI-Anfragen können als Lernmaterial dienen
  • Wenn man es nicht selbst erstellen möchte, kann man auf Fiverr Dienstleister finden, die Grundrisse in 3D-Dateien umwandeln
• Ein Raum mit nur leeren Wänden und Decke wirkt leicht wie ein Lagerraum, wodurch man die Größenverhältnisse falsch einschätzt; daher sollten Möbel und Materialien hinzugefügt werden, um visuelle Bezugspunkte zu schaffen

Mit Materialien dem Raum mehr Tiefe geben

• In Fusion 360 lässt sich mit der Taste A das Appearance-Panel öffnen, in dem Materialien wie Holz, Stein oder Farbe per Drag-and-drop auf Objekte gezogen werden können
• So lässt sich der Eindruck verringern, dass alle Oberflächen aus demselben monotonen Material bestehen, und dem Raum mehr Tiefe verleihen; auch Fenster können mit Glasmaterial versehen werden

IKEA-Möbelmodelle nutzen

• Wenn man Sofas, Betten, Schreibtische und Teppiche platziert, lassen sich Raumgrößen und mögliche Möbelanordnungen deutlich realistischer beurteilen
• IKEA besitzt 3D-Modelle vieler Produkte, aber eine direkte Download-Funktion war schwer zu finden
  • Mit dem Tampermonkey-Skript IKEA 3D Model Download Button lassen sich Modelle herunterladen
  • Nicht alle Produkte werden unterstützt, aber für viele gibt es 3D-Modelle
• Die heruntergeladenen Dateien liegen im Format glb vor, daher wird für den Import in Fusion 360 das Werkzeug GLB-to-OBJ-Konvertierungstool verwendet
• Materialien, die sich im selben Ordner wie das konvertierte OBJ befinden, sind in Fusion 360 möglicherweise nicht sichtbar, erscheinen aber korrekt, wenn man aus Fusion erneut exportiert

Haushaltsgeräte und Autos aus 3D Warehouse importieren

• 3D Warehouse ist eine Community, in der Nutzer kostenlose 3D-Modelle hochladen; dort findet man auch Objekte wie Standmixer, Reiskocher oder Autos, die bei IKEA schwer zu bekommen sind
• Der Import in SketchUp ist einfach, die direkte Nutzung in Fusion 360 dagegen schwierig, daher dient die 3D-Vorschau von iOS als Umweg
  • Die Modell-URL auf iOS öffnen und das Modell in der aktuellen Umgebung in 3D anzeigen
  • Auf den Teilen-Button tippen und die in der Vorschau verwendete USDZ-Datei extrahieren
  • Per AirDrop an den Mac senden
• Auch das Importieren von USDZ-Objekten in Fusion 360 läuft nicht reibungslos, daher werden sie über das Werkzeug USD-to-OBJ-Konvertierungstool konvertiert und platziert

Grenzen des Standard-USDZ-Viewers

• Das fertige Modell kann mit der USDZ-Exportfunktion von Fusion 360 gespeichert und per AirDrop an Vision Pro gesendet werden
• Das Modell lässt sich auch in der Files-App öffnen und begehen, aber wenn man sich innerhalb der tatsächlichen Raumgröße durch das gesamte virtuelle Haus bewegt, kann man gegen reale Möbel oder Wände stoßen
• Um große virtuelle Räume sicher und frei zu erkunden, wurde eine Fortbewegungsmethode benötigt, die physisches Gehen ersetzt

Entwicklung von Prospector und Erkundungsfunktionen

• Mit Claude und Codex wurde in einem halben Tag der USDZ-Viewer Prospector für Vision Pro erstellt
• Statt mehrere Wochen in den Feinschliff zu investieren, ist dies ein Beispiel für Vibe Coding, bei dem die für ein persönliches Experiment nötigen Funktionen schnell umgesetzt wurden
• Es wurden Erkundungsfunktionen ergänzt, die in der USDZ-Anzeige der Files-App fehlen
  • Controller-Bewegung: Bewegung wie in einem 3D-Spiel, inklusive Kameradrehung; reales Gehen und Kopfbewegungen können parallel genutzt werden
  • Skybox: Zeigt statt des realen Raums außerhalb der Fenster einen einfachen Waldhintergrund
  • Gelände-Following: Durch Drücken des rechten D-Pads bewegt man sich entlang der Höhenunterschiede eines aus Vermessungsdaten erzeugten Geländes
  • Umschalten zur Realansicht: Wenn Daumen und Mittelfinger kurz zusammengeführt werden, lässt sich die virtuelle Welt ein- oder ausblenden, um Hindernisse wie reale Tische zu prüfen
  • Fliegen: Mit dem Trigger geht es nach oben oder unten, um zwischen Ebenen zu wechseln; mit der oberen D-Pad-Taste kehrt man auf Bodenniveau zurück
  • Schnellbewegung: Mit der linken D-Pad-Taste bewegt man sich 6-mal schneller, um große Grundstücke zu überqueren
• Das Headset kann an den Ehepartner oder Freunde weitergegeben werden, um den Entwurf gemeinsam zu prüfen; Änderungen werden in Fusion 360 vorgenommen, neu exportiert und nach erneutem Start übernommen

Direkt von GitHub ausführen

• Der Prospector-Quellcode ist auf GitHub veröffentlicht, benötigt aber weitere Arbeit, um auf App-Store-Niveau gebracht zu werden
• Das Vorgehen zum Ausführen ist wie folgt
  • Die USDZ-Datei in das Xcode-Projekt importieren
  • In ImmersiveView.swift den Namen der USDZ-Datei durch den eigenen Dateinamen ersetzen
  • Bei Bedarf die Skybox durch einen Hintergrund von Poly Haven ersetzen
  • Den Controller mit Vision Pro koppeln und das Projekt auf echter Hardware ausführen
• Der Code wurde im Wesentlichen von KI geschrieben, und die aktuelle Implementierung ist ein rauer Stand für persönliche Experimente

Immersive Prüfung des Hausentwurfs

• Der Architekt zeigte das zukünftige Haus in Revit bereits als 3D-Walkthrough, bei dem man wie in Google Street View Punkte anklickt, um sich zu bewegen, und durch Ziehen die Umgebung betrachtet
• Mit Vision Pro konnte man sich darin umsehen, als stünde man im Raum selbst, und die Größenverhältnisse direkt spüren; dadurch wirkte die Hausstruktur schon vertraut, noch bevor der Revit-Walkthrough erneut betrachtet wurde
• Die potenzielle Planung in immersivem 3D zu besuchen könnte künftig ein zentraler Schritt im Hausentwurfsprozess werden und ist mit der nötigen Hardware schon heute umsetzbar

[GN⁺]

Hacker-News-Kommentare

• Es wäre gut, Sonnenhöhe und Azimut je nach Jahreszeit und Tageszeit zu berechnen und das einfallende Licht im Haus zu simulieren. So lässt sich prüfen, ob ein bestimmtes Zimmer im Sommer durch direkte Sonneneinstrahlung überhitzt, wie sich das Winterlicht bestmöglich nutzen lässt und wie oft man zufällig Sonnenauf- und -untergänge erleben kann

  • Ich habe das tatsächlich genutzt, um den Sonnenuntergang zu sehen, und es gibt mehrere großartige Websites, die die Richtung von Sonnenauf- und -untergang an bestimmten Tagen im Jahr anzeigen

• Ich betreibe in den Hamptons in den USA ein Architektur- und Bauunternehmen und nutze diese Technik täglich. Wir beginnen alle Projekte mit einem 3D-First-Ansatz, erstellen Vorentwürfe in Rhino3D oder Revit, rendern sie mit Enscape und übertragen sie auf ein Quest 3
  Wenn man den Blickpunkt auf die tatsächliche Körpergröße des Kunden einstellt und ihn durch das neue Haus gehen lässt, versteht er Raumgröße und Proportionen, Deckenhöhe und sogar kleine Details intuitiv. Innerhalb vernünftiger Grenzen können wir das Modell in Echtzeit anpassen und sofort Feedback bekommen. Wir nutzen das seit Jahren; es überrascht mich, dass die Einführung so langsam ist, aber im Moment ist das ein Wettbewerbsvorteil

  • Bei einer Haussanierung um 2021 habe ich die Kombination SketchUp · Enscape · Quest 2 verwendet, und nachdem die Bauarbeiten abgeschlossen waren, wollte meine Frau deutlich seltener die Wände noch einmal versetzen
  • Diese Geschichte hätte mich fast dazu gebracht, meinen Job zu kündigen und zu meiner eigentlichen Leidenschaft, der Architektur, zurückzukehren. Ich plane gerade, ein Haus in Blender zu entwerfen und es in die Unreal Engine zu übernehmen, um darin herumzulaufen. Wenn das dafür nötige Full-Stack-Wissen immer noch selten ist, wirkt das wie ein genauso spannender Karriereweg, wie ich es mir vorgestellt habe
  • Ich frage mich, ob der Wert von VR/AR vor allem darin liegt, Kunden, die an traditionelle 2D-Pläne nicht gewöhnt sind, die Entwurfsabsicht zu vermitteln, oder ob Planer es auch selbst direkt im Entwicklungsprozess nutzen
  • Ich frage mich, ob man tatsächlich einen leeren Bau oder Raum in der Größe eines typischen individuellen Wohnhauses bereitstellt. Normalerweise wäre der ziemlich groß; mich würde auch interessieren, ob man die Vorschau in Zonen aufteilt
  • Ich bezweifle, dass Apple weiter Milliarden Dollar in ein Nischen-Enterprise-Gerät investieren wird, das sich nur in Größenordnungen von einigen Tausend Einheiten pro Monat verkauft. Abgesehen vom SoC ist das Vision Pro dedizierte Hardware und teilt sich im Gegensatz zum Mac Pro weder F&E- noch Produktionskosten mit anderen Produktlinien
    In den letzten 2,5 Jahren hat sich gezeigt, dass es keinen Massenmarkt gibt, und selbst Meta scheint nach Ausgaben von über 100 Milliarden Dollar für Quest und rund 30 Millionen verkauften Geräten in Richtung Brillenformfaktor zu schwenken. Abgesehen von einigen wenigen Enterprise-Anwendungsfällen wirkt diese gesamte Produktkategorie wie ein Fehlschlag

• Als ich vor fast 10 Jahren ein Haus entwarf, nutzte ich HTC Vive und https://irisvr.com/prospect/. Mit dem Headset konnte man in einer Sekunde erkennen, ob die Raumproportionen stimmten oder feinjustiert werden mussten, was äußerst nützlich war, und einige tatsächlich fertiggestellte Häuser fühlten sich später exakt so an wie die vertraut gewordene Simulation

  • Interessanterweise hat der Autor sein eigenes Tool ebenfalls Prospector genannt. Ich vermute, ein LLM hat einen Namen vorgeschlagen, der dem bestehenden Produkt Prospect ähnelt, aber das ist vielleicht auch zu spekulativ

• Das Vision Pro ist bereits die beste Hardware, braucht aber ein praktisches Betriebssystem, das über einen Medienkiosk hinausgeht. Statt nur einen Mac-Bildschirm anzuzeigen, sollte es möglich sein, alle Mac-Fenster und Fenster mit 3D-Inhalten natürlich im Raum anzuordnen
  Wenn man die Nutzung des visuellen Raums und die physische Ergonomie verbessert und die Hürden für eine Erweiterung um praktische 3D-Funktionen beseitigt, könnte daraus statt einer weiteren iOS-Kasse eine NeXT-artige Erfahrung werden, die auf macOS/Mac aufbaut

• Christian ist ein großartiger Entwickler, der mit Apollo die beste Reddit-Nutzungserfahrung aller Zeiten geschaffen hat. Nachdem Apollo blockiert wurde und verschwand, nutze ich Reddit fast gar nicht mehr, außer für gelegentliche Besuche über die Kagi-Suche, und die App war so gut, dass sie selbst eingefleischte Android-Nutzer allein ihretwegen zum Kauf eines iPhones bringen konnte

  • Als ich sagte, ich würde nach dem Ende von Apollo mit Reddit aufhören, war ich skeptisch, ob das wirklich möglich wäre, aber es fühlte sich überhaupt nicht wie ein Opfer an. Die offizielle App ist so schlecht, dass das Stöbern keinen Spaß macht, und das mobile Web drängt ständig zur App-Installation, sodass ich inzwischen selbst Beiträge aus Suchergebnissen kaum noch öffne
  • Ich habe versucht, Apollo per AltStore per Sideload zu installieren, aber wegen Abstürzen und Startfehlern war es schwer, es stabil am Laufen zu halten
  • Zum Glück ist Voyager für Lemmy zum geistigen Nachfolger von Apollo geworden. Die neue Reddit-Oberfläche ist furchtbar, und es ist kaum zu glauben, dass sie Apollo nicht übernommen haben, aber dadurch habe ich immerhin mit Reddit aufgehört
  • Apollo Reborn mit eigenem API-Key ist weiterhin nutzbar. Auf Android verwende ich eine modifizierte Reddit-App, in Firefox old.reddit, und Reddit ist zu wertvoll, um es komplett aufzugeben
    Wenn ich konkrete Empfehlungen suche, bitte ich ein LLM manchmal darum, Reddit als Referenz heranzuziehen
  • Nach dem Ende von Apollo ist meine Reddit-Nutzung auf weniger als ein Zehntel gesunken, und rückblickend war das vielleicht sogar gut so

• Nachdem das Haus fertiggestellt ist, könnte es noch nützlicher sein, die Verläufe von Leitungen und Rohren in den Wänden nachzuverfolgen. Im Revit-Modell könnten echte Informationen oder zumindest Pläne enthalten sein, was besonders bei alten Häusern hilfreich ist, in denen man Ethernet-Verkabelung improvisiert verlegen muss
  Tatsächlich nutze ich es aber hauptsächlich zum Ansehen von 4K-HDR-Medien. Es ist hinter den Erwartungen an ein vielseitiges praktisches Gerät zurückgeblieben, aber die Medienwiedergabe ist so gut, dass das bis zu einem gewissen Grad akzeptabel ist

• Die meisten der hier gezeigten Funktionen lassen sich offenbar auch mit ARKit auf dem iPhone umsetzen. Ein Headset ist zwar besser, aber schwer zu behaupten, dass es gegenüber dem Blick auf einen Handybildschirm 3.500 Dollar besser ist
  Beim Umzug habe ich mit dem iPhone meine Wohnung gescannt, ein 3D-Modell erstellt und es für Vermessung und Möbelplatzierung genutzt; vor dem Auszug habe ich auch die alte Wohnung gescannt, damit ich sie jederzeit virtuell betreten kann. Schon Finder und Vorschau unterstützen die AR-Anzeige von 3D-Modellen standardmäßig

  • Mich würden der gesamte Workflow, die verwendete Scan-App, das erzeugte 3D-Modellformat und das Tool für die Raumplanung interessieren. Mit der 3d scanner app konnte ich ein recht ordentliches Modell erstellen, aber da es LiDAR-basiert war, fehlte es an Präzision, und es war schwierig, das Modell mit den aufsummierten Abweichungen an den echten Grundriss anzupassen
    Bei der Möbelplatzierung zählt schon ein Zoll; wenn eine 100-Zoll-Wand am Ende 99 oder 101 Zoll misst, ist das problematisch. Ich würde gern wissen, wie man ein möglichst maßgenaues Modell erstellt und darin 3D-Modelle von Möbeln platziert
  • Ich habe mit mehreren AR-Apps, ähnlich denen von IKEA, geprüft, ob Produkte in den realen Raum passen, und auch an einem VR-Projekt für Fahrzeuginnenräume mitgearbeitet. In Handy-AR muss man bei Größe und Raumgefühl vieles schätzen, während man es in VR tatsächlich spüren kann; beeindruckend war die Reaktion, wenn Leute das Headset abnahmen und überrascht waren, wieder in einem kleinen Raum zu stehen
    Ich wollte Räume auch aus Erinnerungsgründen scannen, aber passende Apps waren weder leicht zu finden noch leicht zu benutzen
  • Mit einer gebrauchten Meta Quest 2 geht das für etwa 100 Dollar
  • Für ein Hobbyprojekt mit begrenztem Budget ist der iPhone-Ansatz passend, aber wenn man es für einen Sales-Pitch nutzt, könnten 3.500 Dollar eine Investition zur Umsatzsteigerung sein
  • An ARKit musste ich als Erstes denken, und der erreichbare Markt ist auch viel größer

• Eine 3D-Welt zu erstellen und darin herumzulaufen wirkt wie eine Standardfunktion aller VR-Headsets, daher verstehe ich nicht, was daran besonders sein soll

  • Die Funktion selbst und die praktische Anwendung dieser Funktion sind nicht dasselbe
  • Schon vor etwa 15 Jahren haben wir mit dem Oculus Rift DK1 einen Hackathon zu diesem Konzept gemacht
  • Beim Einsatz für Hausumbauten lag der große Unterschied nicht einfach in VR, sondern in der AR-Ausrichtung. Es ist enorm wertvoll, direkt erleben zu können, wo die virtuellen Änderungen mit dem realen Raum zusammenpassen
  • Das eine ist ein Spielzeug, das andere ein Werkzeug, um Fehler zu finden, bevor man Hunderttausende Dollar investiert
  • Das im Artikel behandelte Positions-Tracking im Raummaßstab gab es bei Consumer-Headsets erstmals 2016. In den 1980er- bis 2000er-Jahren war meist nur Kopf-Tracking möglich; Echtzeit-Positions-Tracking erforderte deutlich teurere Ausrüstung und strenge räumliche Einschränkungen
    Um große Räume zu kartieren, braucht man Positions-Tracking mit geringer Latenz und Tracking anhand interner Referenzpunkte; wenn man mehrere Räume erkunden will, ist das praktisch unverzichtbar. Die 3D-Welt muss zudem in das Grafikbudget des Headsets passen, das mehr als doppelt so hoch ist; dass direkt aus Fusion nach USDZ exportiert und gerendert wurde, zeigt die Leistung des AVP. Auch das Compositing von Live-Bild und 3D sowie das Anwenden von Beleuchtung, Reflexionen und Transparenz war früher so schwierig, dass man dafür mehrere große und teure Geräte brauchte

• Ich habe eine lokale Kletterhalle gescannt und Klettervideos auf die Wand gemappt: https://kmcheung12.github.io/climb-preview/w/a6ece004
  3D-Anwendungen werden stark untergenutzt, und es gibt einen Bereich von Interaktionen, den das textbasierte Web nicht bieten kann

  • Dass sie untergenutzt sind, stimmt, aber ich frage mich, ob sie genug Wert liefern, um die Kosten einer breiteren Nutzung zu rechtfertigen

• Mit jedem aktuellen VR-Headset sollte das machbar sein, aber es ist trotzdem eine ziemlich coole Anwendung

  • Nach der Reaktion hatte ich ein sehr hochwertiges und ausgefeiltes Ergebnis erwartet, aber tatsächlich ist es etwas, das auch mit einem Headset, das nur ein Zehntel kostet, möglich ist
  • Ich hatte eine Art VR-Version eines Laser-Innenraum-Messgeräts erwartet. Man hält ein Stück Holz hoch, und VR zeigt an, wo es montiert werden soll, während ein anderer Arbeiter mit Headset es mit unter 1 mm Präzision an einem Pfosten befestigt
  • Wegen des Titels und der Upvotes dachte ich, ich hätte einen neuen Use Case entdeckt, der den Preis von ~~3.500 Dollar~~ 3.700 Dollar rechtfertigt, aber ich war ziemlich enttäuscht
  • Das geht auch mit Google Cardboard