Show HN: Fill 3D - 3D Generative Fill für AI-basiertes virtuelles Staging

 (github.com/fill3d)
1 Punkte von GN⁺ 2023-09-30 | 1 Kommentare | Auf WhatsApp teilen
  • Ein Starterprojekt, das die Fill 3D API zeigt, mit einem Implementierungsbeispiel für AI-basiertes virtuelles Staging mit 3D Generative Fill
  • Vor dem Ausführen .env.example in .env.local umbenennen und den auf fill3d.ai erzeugten API key in FILL3D_API_KEY eintragen
  • Die Installation der Abhängigkeiten und das Starten des Entwicklungsservers erfolgen mit npm install und npm run dev
  • Nach dem Start des Entwicklungsservers kann die Webseite unter http://localhost:3000 geöffnet werden

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-09-30
Hacker-News-Kommentare

  • Die Technik selbst ist beeindruckend, aber ihr Potenzial ist ziemlich unheimlich
    Wo ich lebe, ist es bereits üblich, dass Immobilienmakler Fotos von Objekten mit Photoshop so bearbeiten, dass sie wie komplett renovierte und voll möblierte Häuser aussehen
    In Wirklichkeit stehen die Häuser oft leer und sind in sehr schlechtem Zustand, daher dürfte es mit solcher Technik noch schwieriger werden, den Zustand einer Immobilie zu beurteilen, ohne sie persönlich gesehen zu haben
    Es wird nun schwer sein zu verhindern, dass solche Technik in der Werbung eingesetzt wird, und da Objektlisten faktisch ebenfalls Werbung geworden sind, scheinen Richtlinien und Gesetze, die gefälschte Fotos auf Immobilienplattformen verbieten, die einzige Lösung zu sein
    Andererseits könnte der Ersteller wohl viel Geld verdienen, wenn er diese Technik im Abo-Modell an Makler verkauft

    • Es scheint bereits Gesetze dagegen zu geben, Dinge beim Verkauf falsch darzustellen
      Ob Möbel inbegriffen sind, steht klar im Vertrag, und das Häufigste, was ich hier sehe, ist je nach Region eher, dass bei Fenster- oder Rückansichten des Hauses ein Sonnenuntergang hineinkomponiert wird
      Schwer zu erkennen wäre allerdings, ob der Makler Dinge wie Schimmel oder Wasserschäden entfernt hat
    • Staging mit Photoshop gibt es schon seit Langem

  • Die Beispiele sehen sehr gut aus. Es wäre schön, wenn ihr mehr Bilder teilen könntet
    Es wären mehr Beispiele hilfreich, die zeigen, wie weit das Tool gehen kann, etwa mit verschiedenen Zimmertypen und Einrichtungsstilen
    Andererseits würde mich auch interessieren, was es nicht kann. Ob es Situationen gibt, in denen es versagt

    • Guter Vorschlag. Ich nehme mir morgen Zeit und versuche, eine /gallery-Seite hinzuzufügen
      Ich habe auch ein Tracking-Issue erstellt: https://github.com/fill3d/fill/issues/1
      Ein gutes erstes Issue :D

  • Überraschend. Die eingefügten Objekte wurden also nicht mit einem Diffusionsmodell + ControlNet erzeugt, sondern sind gerenderte 3D-Modelle mit Texturen?
    Ich frage mich, ob der Satz verfügbarer texturierter 3D-Modelle fest ist oder ob sie auf Basis des Prompts on the fly erzeugt werden

    • Genau. Im Moment verwende ich den Blenderkit-Dialog, aber das lässt sich auch darüber hinaus erweitern
      Wenn man einen Prompt eingibt und sucht, läuft dabei tatsächlich multimodale Suche, sodass bei einer Anfrage wie „red painting“ wirklich ein rotes Gemälde gefunden wird
      Dadurch ist es absurd viel präziser als normale Suche. Überall steckt inzwischen AI drin

  • Mein Anwendungsfall wäre wohl das Einrichten einer Wohnung
    Ich habe ein großes, leeres Studio-Apartment, in dem Bett und Sofa schon gekauft sind, und muss entscheiden, womit ich den restlichen freien Raum fülle
    Dinge wie Couchtisch, Media-Konsole, Fernseher oder Ultra-Kurzdistanzprojektor, Bar, Bücherregal, Schreibtisch
    Es wäre gut, wenn man nicht nur mit Konzepten, sondern mit tatsächlich kaufbaren Produkten füllen könnte

    • Genau, das ist tatsächlich eine Funktion auf der Roadmap
      Weil in 3D erzeugt wird, können Nutzer ihre eigenen 3D-Modelle mitbringen und dem Katalog hinzufügen
      Wenn man etwas wie Apples Object Capture (https://developer.apple.com/augmented-reality/object-capture...) anschließt, könnte man sogar das eigene Sofa scannen, in Fill 3D hochladen, platzieren und dann generieren
      Klingt spannend, was noch kommt
    • Ich habe es noch nicht ausprobiert, aber ich habe vor ein paar Tagen eine Seite gesehen, die zu diesem Anwendungsfall passt: https://aihomedesign.com
      Ich bin nicht damit verbunden

  • Haben Immobilienfirmen schon darüber nachgedacht, Häuser unmöbliert leer stehen zu lassen und potenziellen Käufern mit AR-Brillen zu zeigen, wie es mit ihren eigenen Möbeln aussehen würde?

    • Man könnte wohl einfach ein Handy oder Tablet als Viewport benutzen
      Weniger immersiv, aber die Einstiegshürde wäre deutlich niedriger
    • Wenn das Path-Tracing für das Rendern eines einzelnen Frames über eine Minute braucht, scheint dieses Maß an Realismus in heutiger AR nicht möglich zu sein

  • Würde das auch bei Decks und Veranden funktionieren?
    Ich habe Fotos von Decks und Veranden, die für das Staging auf der Website eines Bauunternehmens gebraucht werden

  • Ich habe die Demo ausprobiert; es scheint einen Bug zu geben, und man kann wohl nur vorhandene Elemente aus einer vordefinierten Datenbank auswählen

    • Mich würde interessieren, auf welchen Bug du gestoßen bist
      Und ja, da echte 3D-Modelle verwendet werden, ist der Modellsatz fest. Im Moment sind es etwas weniger als 300
      Die Priorität liegt auf hyperrealistischen Ergebnissen, und die aktuelle Diffusionstechnik für 3D-Modelle reicht dafür noch nicht aus. Siehe OpenAI Point-e: https://github.com/openai/point-e

  • Es ist wirklich beeindruckend, Fill3Ds Architektur zum Rendern hyperrealistischer Ergebnisse per Path-Tracing zusammen mit der Transparent-Deployment-Funktion von fxn.ai zu sehen
    Ich kann mir beide in einem aktuellen Projekt ansehen und werde das tun

  • Wie stellt ihr euch das Geschäftsmodell vor?
    Ich bin Systemadministrator für ein kleines MLS und überlege, wo sich das integrieren ließe
    Bei 2 Dollar pro Staging müsste man das wahrscheinlich direkt den Maklern berechnen. Soweit ich weiß, machen wir keine Sammelabrechnung
    Ein Modell mit einigen Stagings pro Monat und Realtor könnte aber vielleicht funktionieren
    Mir fallen auch unterhaltsame Anwendungsfälle ein, bei denen Verbraucher selbst stagen, aber ich glaube kaum, dass viele Realtors 2 Dollar pro Staging bezahlen würden, damit Verbraucher das tun können

    • Darüber würde ich gerne richtig sprechen
      Bei Mengenpreisen können wir den Preis deutlich senken
      Das Endziel ist, Nutzern zu ermöglichen, direkt auf Ihrer Immobilienwebsite oder in Ihrem MLS selbst zu stagen
      Bitte melden Sie sich unter yusuf@fill3d.ai

  • Womit wurde der Screencast auf https://www.fill3d.ai/ erstellt?

    • Ich glaube, mit https://www.screen.studio
    • Das würde mich auch interessieren
      Ich habe in letzter Zeit viele Screencasts in diesem Stil gesehen, und ich mag sie nicht besonders
      Der Aufnahmebereich bewegt sich ständig, was ziemlich ablenkend ist
    • Es ist Screen Studio