Visuelle Anagramme: Mehransicht-Optische Täuschungen mit Diffusionsmodellen erzeugen

 (dangeng.github.io)
1 Punkte von GN⁺ 2023-12-01 | 1 Kommentare | Auf WhatsApp teilen
  • Mehransicht-Optische Täuschungen, bei denen ein einzelnes Bild nach Transformationen wie Drehen, Spiegeln oder Farbinvertierung wie ein anderes Objekt erscheint, werden mit einem vortrainierten Diffusionsmodell Zero-Shot erzeugt
  • Dabei wird zunächst in mehreren Transformationsansichten jeweils das Rauschen geschätzt, dann per inverser Ansichtstransformation in dasselbe Koordinatensystem zurückgeführt und mit dem gemittelten Rauschen der nächste Diffusionsschritt ausgeführt
  • Unterstützte Transformationen sind Rotation, Spiegelung, Farbinvertierung, Scherung, Neuordnung als Jigsaw-Puzzle, zufällige Patch-Permutation sowie Erweiterungen auf 3 oder mehr Ansichten
  • Die Transformationsfunktionen müssen invertierbar sein; damit sie zur Rauschannahme des Diffusionsmodells passen, sind Linearität und statistische Konsistenz mit standardnormalem Rauschen erforderlich
  • Pixelpermutationen und Farbinvertierung, die die Bedingung einer orthogonalen Matrix erfüllen, lassen sich theoretisch gut einsetzen, aber mit steigender Zahl der Ansichten wird es schwieriger, überzeugende Täuschungen zu erhalten

Bilder, deren Identität sich durch Transformation ändert

  • Visual Anagrams erzeugt Mehransicht-Optische Täuschungen, bei denen ein einzelnes Bild nach einer bestimmten Transformation in Aussehen oder Identität verändert erscheint
  • Es handelt sich um einen Zero-Shot-Ansatz, der vorhandene Diffusionsmodelle ohne zusätzliches Training verwendet
  • Beispiele für Transformationen sind unter anderem:
    • Neuordnung als Jigsaw-Puzzle: Wenn Puzzleteile aufgeteilt und neu angeordnet werden, erscheint ein anderes Motiv; es funktioniert wie ein Jigsaw-Puzzle mit mehreren Lösungen
    • Spiegelung und 180-Grad-Rotation: Das Bild verändert sein Aussehen, wenn es gespiegelt oder um 180 Grad gedreht wird
    • 90-Grad-Rotation: Wird das Bild um 90 Grad gedreht, wird es als anderes Motiv erkannt
    • Farbinvertierung: Bei invertierten Farben erscheint das Bild anders
    • Scherung und „inner circle rotations“: Ebenfalls Teil weiterer Transformationsbeispiele
    • Zufällige Patch-Permutation: Patches werden neu angeordnet; selbst bei einer Erhöhung bis auf (64 \times 64) Patches sinkt zwar die Qualität, aber es entstehen noch erkennbare Resultate
  • Es lassen sich nicht nur Täuschungen mit zwei Ansichten, sondern auch mit drei Ansichten erzeugen, allerdings wird es deutlich schwerer, gute Ergebnisse zu erhalten
  • Vieransichtstäuschungen waren sehr schwer zum Funktionieren zu bringen; es wurde nur ein einziges halbwegs gutes Ergebnis gefunden

Erzeugungsverfahren und theoretische Bedingungen

  • Der Kern ist ein Verfahren, das das vom Diffusionsmodell in mehreren Transformationsansichten geschätzte Rauschen zu einer einzigen Schätzung zusammenführt
    • In jeder Ansicht (v_i) wird das Rauschen geschätzt
    • Auf die Schätzung wird die inverse Ansicht (v_i^{-1}) angewandt, um alles in dasselbe Koordinatensystem zu bringen
    • Die ausgerichteten Rauschschätzungen werden gemittelt
    • Mit der gemittelten Rauschschätzung wird der Diffusionsschritt ausgeführt
  • Nicht jede Ansichtsfunktion passt zu dieser Methode; (v_i) muss zunächst invertierbar sein
  • Das Diffusionsmodell behandelt verrauschte Daten (\mathbf{x}_t) als gewichtete Summe aus reinem Signal (\mathbf{x}_0) und Rauschen (\epsilon)
    • Damit eine Transformation (v) die gewichtete Beziehung zwischen Signal und Rauschen beibehält, muss sie linear sein
    • Eine lineare Transformation lässt sich als Matrix (\mathbf{A}) darstellen
  • Diffusionsmodelle werden unter der Annahme trainiert, dass das Rauschen aus einer standardnormalverteilten i.i.d.-Verteilung stammt
    • Auch das transformierte Rauschen muss (\mathbf{A}\epsilon \sim \mathcal{N}(0, I)) erfüllen
    • Bei linearen Transformationen ist dies genau dann erfüllt, wenn (\mathbf{A}) eine orthogonale Matrix ist
    • Damit ist eine orthogonale Transformation eine hinreichende Bedingung dafür, dass die Methode funktioniert
  • Die meisten beliebigen orthogonalen Transformationen sind für Bilder visuell nicht sinnvoll, aber Permutationsmatrizen sind eine Teilmenge orthogonaler Matrizen und lassen sich als Neuordnung von Pixeln interpretieren
    • Rotation, Spiegelung, Scherung, inner rotations, Jigsaw-Neuordnung und Patch-Permutation können als bestimmte Pixelneuordnungen betrachtet werden
    • Farbinvertierung ist zwar keine Permutation, entspricht aber einer Vorzeichenumkehr der Pixelwerte und zählt daher ebenfalls als orthogonale Transformation

Paper und Ausführungsmaterial

  • Paper: PDF des CVPR-2024-Papers
  • arXiv: arXiv-Seite
  • Code: Visual-Anagrams-Code
  • Colab: Colab zum Ausführen
  • Diffusion Illusions: Erzeugt mit score distillation sampling Mehransichtstäuschungen und andere visuelle Effekte
  • Illusion-Diffusion Colab: Ein Colab von Matthew Tancik mit ähnlicher Idee; Visual Anagrams verbessert dabei Qualität der Täuschungen, Transformationsbreite und theoretische Analyse
  • Factorized Diffusion: Nachfolgearbeit von Visual Anagrams zur Erzeugung verschiedener Arten hybrider Täuschungen
  • Images that Sound: Erzeugt mit einer ähnlichen Technik Spektrogramme, die wie Bilder aussehen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-12-01
Hacker-News-Kommentare

  • Die Mann/Frau-Inversion gefällt mir wirklich gut.
    Ich frage mich, wie viele lesbare Permutationen man innerhalb eines Bildes erzeugen könnte, wenn man dieselbe Technik erweitert. Ich kenne mich mit der Mathematik nicht gut aus, aber funktioniert das, weil zwei hintereinander angewendete orthogonale Transformationen immer noch eine orthogonale Transformation sind?

    • Das Mann/Frau-Beispiel ist mir auch aufgefallen, und ich habe es wohl etwa zehnmal angeschaut. Vielleicht auch, weil es irgendwie einsam wirkte.
    • Das Mosaik aus Ente und Kaninchen war wirklich lustig.
    • Wenn mit „orthogonaler Transformation“ hier die übliche orthogonale lineare Transformation/Matrix gemeint ist, dann lautet die Antwort: ja.

  • Anfang letzten Jahres hatte ich eine ähnliche Idee und habe auch ein wenig mit einer Schachbrett-Methode herumgespielt.
    Hier gibt es eine Katze, die aus 9 Katzenbildern im Stil berühmter Maler zusammengesetzt ist: https://twitter.com/marekgibney/status/1521500594577584141
    Man muss vielleicht ein wenig die Augen zusammenkneifen, um sie zu sehen. Nachdem ich ein paar davon gemacht hatte, verlor ich irgendwie das Interesse.

    • Ehrlich gesagt sieht das für mich weniger nach Katze aus als nach cat-aclysm. Vermutlich war das Modell von den miteinander kollidierenden Anforderungen überfordert, sodass weder die Einzelbilder noch das zusammengesetzte Bild besonders gut wurden. Aber wie du sagst, irgendwann könnte so etwas besser funktionieren.
    • Wirklich cool. Wäre auch 3x3x3 möglich? Also in einem 9x9-Raster 81 Katzen aus je 1 Feld, 9 Katzen aus je 9 Feldern und 1 Katze aus 81 Feldern.

  • Das Beispiel mit der Mann/Frau-Farbinversion hat mich am meisten beeindruckt. Drehungen kann man im Kopf nachvollziehen und so die andere Ansicht sehen, aber eine Farbinversion im Kopf ist sehr schwierig.

    • Großartig. Für Interessierte lasse ich den Link hier. Die Seite enthält viele Bilder.
      https://dangeng.github.io/visual_anagrams/static/videos/grid...
    • Bei mir ist es umgekehrt. Die Farbinversion wirkt auf mich nicht viel eindrucksvoller als die Morph-Animationen, die in den 1990ern populär waren. Ich verstehe zwar, wie simpel eine Farbinversion auf Ebene der Pixeldaten ist, aber diese Einfachheit sieht man mit den Augen nicht. Es wirkt auch nicht viel anders als völlig unabhängiges Alpha-Blending.
      Die Drehung dagegen ist wirklich erstaunlich. Man sieht perfekt, dass sich die Pixel nicht ändern. Wenn man den Bildschirm physisch dreht, „verändert“ sich das Bild. Mir fällt kaum ein besseres Beispiel ein, das zeigt, dass Diffusionsmodell-Bilder nicht nur Echos bestehender Bilder sind. Natürlich sind sie das in gewisser Hinsicht auch, aber im Kern sind sie die Lösung des Problems: „Finde eine Menge von Pixeln, die zur Beschreibung {Prompt} passt.“ Hier heißt das: „Pixel, die aus dieser Richtung zu {A} passen und aus jener Richtung zu {B}.“
    • Wenn ich den Mann sehe, kann ich bei genauerem Hinsehen die Frau finden, aber seltsamerweise klappt es umgekehrt nicht.

  • Diese Technik und die Ergebnisse sind getrennt von den vor einigen Monaten bekannten „Spiral“-ControlNet-Bildern: https://arstechnica.com/information-technology/2023/09/dream...
    Im Code basiert es auf DeepFloyd-IF, ist aber nicht so einfach auszuführen wie Stable-Diffusion-Varianten.

    • Ich habe es mir noch nicht im Detail angesehen, aber müsste sich diese Idee nicht auch auf andere Diffusionsnetzwerke anwenden lassen? Allerdings könnten am bereitgestellten Code recht umfangreiche Änderungen nötig sein. Korrigiert mich natürlich gern, wenn ich falschliege.
    • Ich fand es immer merkwürdig, dass diese Idee ausgerechnet mit diesem ControlNet-Modell aufgekommen ist. Kombiniert man dieselben Bilder mit mehreren anderen ControlNet-Modellen, entstehen ebenfalls großartige und eindrucksvolle Ergebnisse.
      Das Ökosystem rund um Stable Diffusion ist insgesamt wirklich riesig.
    • Ich habe es nicht gesehen; was war daran berüchtigt?
    • Wolltest du nicht eher sagen, dass es damit zusammenhängt? Uglehs ursprüngliche „Spiral“-Bilder werden im Abschnitt „Related Links“ ausdrücklich genannt.

  • Kann man echte Puzzles wie die hier gezeigten kaufen?

    • Man könnte sie auch selbst herstellen. Ich weiß allerdings nicht, wie gut das mit der obigen Methode zusammenpasst, wenn man sie stark skaliert. https://www.createjigsawpuzzles.com/
    • Diese Forschung verwendet DeepFloyd IF, dessen kommerzielle Nutzung untersagt ist. Wenn man sie verkaufen will, müsste man einen anderen geeigneten Bildgenerator finden oder trainieren.

  • Jedes einzelne Beispiel hier fühlt sich an wie: „Ja ... na ja, könnte sein ... bis zu einem gewissen Grad.“
    Pinguin/Giraffe ist wahrscheinlich noch das beste, und alte Dame/Kleid sieht fast nach keinem von beidem aus.

    • Diese beiden basieren auf bereits bekannten Ambigrammen.
      Pinguin/Giraffe ist diesem sehr ähnlich: https://www.pinterest.com/pin/giraffepenguin--13398215764267...
      Das andere ist entweder direkt hiervon inspiriert oder ähnlich, wobei der Prompt „young lady“ das Modell wohl dazu gebracht hat, ein Kleid zu wählen. Außerdem ist es unmöglich, Augen und Ohr sowie Mund und Choker fotorealistisch vollkommen identisch zu machen: https://www.reddit.com/r/RedditDayOf/comments/35cjn5/the_cla...
    • Hm, bei Pinguin/Giraffe dachte ich beim ersten Blick: „Das sieht aus wie ein umgedrehter Pinguin, aber wo ist die Giraffe?“ Bei den anderen habe ich sofort gesehen, was gemeint war.

  • Die neu angeordnete Ente/Kaninchen wäre für ein Schiebepuzzle wirklich cool. Es gäbe zwei gültige Lösungen.

    • Das müsste man prüfen, aber wenn man ein Paar aus „Nase und Loch“ mit einem anderen Paar vertauschen kann, müssten beide Paare sowohl in Form als auch Farbe identisch sein. Wenn sie aber statt vertauscht zu werden getrennt und an andere Kanten gesetzt werden, entstehen zusätzliche Verbindungen.
      Wenn man Kanten als Knoten eines gerichteten Graphen mit Verbindungen von Nasen und Löchern betrachtet, werden mögliche Paare miteinander verbunden. Ein Tausch ist ein Cluster aus zwei Paaren, zusätzliche Verbindungen ergeben eine viergliedrige Kette mit offenen Enden. Wenn sich diese Verbindung über weitere Paare fortsetzt, kann ein größerer Cluster identischer Nasen und Löcher entstehen. Aufgrund der Grapheigenschaften dürfte das wahrscheinlich meistens passieren. Siehe dazu das Gefangenenparadoxon [0].
      Dann würden die meisten Nasen in die meisten Löcher passen, wodurch das Puzzle deutlich schwerer zu lösen wäre.
      [0] Das hervorragende Matt-Parker-Video https://www.youtube.com/watch?v=a1DUUnhk3uE ist gut, aber ich empfehle noch mehr die anschließende Diskussion mit Derek von Veritasium.
    • Mit so vielen neu anordbaren Elementen könnte man sehr viele „gültige“ Lösungen erzeugen, die ohne Foto nicht unterscheidbar sind; dann wäre es eher Kunst als ein Puzzle.

  • Es wäre cool, solche Bilder zu erstellen, die unter roter/blauer Beleuchtung jeweils anders aussehen.

  • Die Explosion an Kreativität, die generative KI ausgelöst hat, ist wirklich erstaunlich.