Qwen VLo – von der Welt zu „verstehen“ zum „beschreiben“

 (qwenlm.github.io)
1 Punkte von GN⁺ 2025-06-29 | 1 Kommentare | Auf WhatsApp teilen
  • Qwen VLo ist ein Preview-Modell, das die Bildverständnis-Fähigkeiten von QwenVL und Qwen2.5 VL auf Bildgenerierung erweitert und sich direkt in Qwen Chat ausprobieren lässt
  • Mit progressiver Generierung, bei der Bilder nicht auf einmal fertiggestellt, sondern von links nach rechts und von oben nach unten aufgebaut werden, erhöht es Konsistenz und Harmonie der Ergebnisse
  • Der Fokus liegt auf Bild-Neuschöpfung, bei der Bedeutung und Struktur des Originalbilds erhalten bleiben, während Farben, Stil und Objekte verändert werden
  • Per natürlicher Sprachanweisung lassen sich Hintergrundaustausch, Hinzufügen/Entfernen von Objekten, Stiltransformation, Textbearbeitung, Poster-Erstellung sowie die Erzeugung von Tiefenkarten, Segmentierungskarten, Detektionskarten und Kanteninformationen umsetzen
  • Da es sich noch in der Preview-Phase befindet, sind Ungenauigkeiten, Abweichungen vom Original und mögliches Nichtbefolgen von Anweisungen möglich; einige Funktionen wie Multi-Image-Eingaben und die Generierung extremer Seitenverhältnisse sind noch nicht offiziell veröffentlicht

Rolle und Ansatz von Qwen VLo

  • Qwen VLo integriert multimodales Verstehen und Generieren und ist damit ein Modell, das über das bloße Bildverständnis hinausgeht und auf Basis dieses Verständnisses Bilder neu erzeugt
  • Die aktuelle Version ist eine Preview und kann in Qwen Chat verwendet werden
  • Es kann Bilder allein aus Text erzeugen oder ein hochgeladenes Bild per natürlicher Sprache bearbeiten
    • Bildgenerierung per Text-Prompt wie „Generate a picture of a cute cat“ ist möglich
    • Nach dem Hochladen eines Katzenbilds kann es mit einer Anweisung wie „Add a cap on the cat’s head“ bearbeitet werden

Progressive Generierung von links nach rechts

  • Qwen VLo verwendet einen Ansatz der progressiven Generierung, bei dem ein Bild schrittweise aufgebaut wird
  • Während der Generierung werden Vorhersagen fortlaufend verfeinert und optimiert, um Konsistenz und Harmonie des finalen Bilds zu verbessern
  • Dieser Mechanismus soll die visuelle Qualität erhöhen und Nutzern ein kreatives Erlebnis mit flexiblerer Kontrolle über das Ergebnis bieten
  • In Kombination mit dynamischer Auflösungsgenerierung eignet er sich für Aufgaben, die feine Kontrolle erfordern, etwa Werbung mit langem Text oder Comic-Panels
    • Der Generierungsprozess lässt sich schrittweise prüfen und in Echtzeit anpassen

Vom Verstehen zur Generierung erweiterte Funktionen

  • Neuschöpfung unter Erhalt der Originalstruktur

    • Bei bestehenden multimodalen Modellen kann es im Generierungsprozess zu Bedeutungsabweichungen kommen, etwa wenn ein Auto als anderes Objekt missverstanden wird oder die Kernstruktur des Originals nicht erhalten bleibt
    • Qwen VLo zielt darauf ab, durch verbesserte Detailerfassung ein hohes Maß an semantischer Konsistenz während der Generierung zu bewahren
    • Wird bei einem Autofoto etwa „Farbe ändern“ angefordert, kann das Fahrzeugmodell erkannt und bei Erhalt der ursprünglichen Struktur der Farb- und Stilcharakter geändert werden

  • Bildbearbeitung auf Basis natürlicher Sprache

    • Anweisungen wie „Ändere dieses Bild in den Stil von Van Gogh“, „Mach es wie ein Foto aus dem 19. Jahrhundert“ oder „Füge einen klaren Himmel hinzu“ können verarbeitet werden
    • Unterstützt werden Aufgaben wie künstlerische Stiltransformation, Szenenrekonstruktion und Detailkorrektur
    • Auch klassische Visual-Recognition-Aufgaben wie die Vorhersage von Tiefenkarten, Segmentierungskarten, Detektionskarten und Kanteninformationen lassen sich als Bearbeitungsanweisungen ausführen
    • Komplexe Anweisungen wie Objektbearbeitung, Textbearbeitung und Hintergrundänderung können in einem einzigen Befehl verarbeitet werden

  • Unterstützung mehrsprachiger Anweisungen

    • Unterstützt mehrere Sprachen, darunter Chinesisch und Englisch
    • Nutzer können Anforderungen sprachunabhängig beschreiben und Ergebnisse erhalten

In der Demo gezeigte Aufgabentypen

  • Bildgenerierung und fortlaufende Bearbeitung

    • Gezeigt wird ein Ablauf, in dem zunächst ein niedlicher Shiba Inu erzeugt, dann der Hintergrund in eine Wiese geändert, eine rote Mütze und schwarze transparente Sonnenbrille hinzugefügt und auf die Mütze der Text „QwenVLo“ gesetzt wird
    • Dasselbe Bild kann in den Ghibli-Stil oder einen 3D-Q-version-Stil umgewandelt werden; auch bearbeitete Objekte können in einem fortlaufenden Bearbeitungskontext weiterverwendet werden
    • Enthalten sind auch Aufgaben wie das Erkennen eines Stifts mit einer blauen Maske oder das Segmentieren der Hundekontur mit einer rosa Maske

  • Stiltransformation und Neuinterpretation

    • Ein Comic kann in ein reales Foto umgewandelt, der Hintergrund durch den Eiffel Tower ersetzt oder eine Person ballonartig in die Luft gehoben werden
    • Auch das Umwandeln eines Paarfotos in minimalistische Flat-Illustration-Sticker oder in 3D-gerenderte Sammelfiguren samt Hinzufügen des Texts „Happy Wedding“ ist enthalten
    • Behandelt werden Stilwechsel zu Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft und Pixel Art
    • Es gibt auch Beispiele, in denen eine Katze in den Pixar-3D-Stil umgewandelt oder eine nächtliche Skyline von Miami in einen Modellierstil mit geleeartiger Spezialmaterial-Textur transformiert wird

  • Verarbeitung komplexer Prompts

    • Es kann ein Foto generiert werden, das gleichzeitig einen Mann mit schwarzer Mütze in der U-Bahn, eine Frau mit roter Sonnenbrille, einen Husky, die Statue of Liberty vor dem Fenster und ein Bahnhofsschild mit „Qwen VLo“ enthält
    • Auch Anweisungen, die frühere Ergebnisse aufgreifen, lassen sich verarbeiten, etwa eine Ego-Perspektive beim Zeichnen eines Diagramms in ein Notizbuch oder eine Szene, in der Isaac Newton ein Experiment mit einem Prisma demonstriert
    • Enthalten sind zudem posterartige Prompts, in denen eine schwarze Katze als Hauptfigur in einem großformatigen Weitwinkelfoto einer Konfrontation mit Tiergruppe, Außerirdischen und UFOs inszeniert wird

Poster- und Textbild-Generierung

  • Qwen VLo unterstützt nicht nur Aufgaben mit kombiniertem Text- und Bildeingang, sondern auch Text-zu-Bild-Generierung
  • Neben allgemeinen Bildern können auch zweisprachige Poster mit Chinesisch und Englisch erstellt werden
    • Night-Wizard-Animationskunst, in der der Text „Qwen VLo!“ aus Energie geformt wird
    • Eine Selfie-Szene mit einer orangefarbenen Katze mit Sonnenbrille und Ohrenschützern
    • Posterartige Bilder mit Texten wie „2025“, „A New Beginning“, „新的开始“, „长安“ und „Father’s Day“
  • Bei Werbepostern werden die Anordnung einer Kaffeedose, eines Hand-Drip-Kessels, einer Kaffeefarbpalette und eines Titels wie „一杯咖啡，唤醒你的清晨“ behandelt
  • Ein weiteres Posterbeispiel platziert ein Beleuchtungsprodukt als zentrales visuelles Element auf dunklem blauem Hintergrund mit warmem orangefarbenem Schein und dem Text „Illuminating not just the desk, but an attitude.“

Generierung inklusive Wahrnehmung und Positionsverständnis

  • Neben Generierung und Bearbeitung kann Qwen VLo auch Annotationen auf bestehenden Bildern hinzufügen
  • Beispielaufgaben umfassen:
    • Nach der Generierung eines mit Früchten gefüllten Tischs die Vorhersage einer Kantenkarte
    • Das Segmentieren der Bananenkontur im Bild mit einer roten Maske
    • Das Markieren eines Smartphones in einem unordentlichen Schreibtischbild mit einem roten Rahmen
    • Das Entfernen des markierten Smartphones und das Hinzufügen von Kaffee auf dem Schreibtisch
    • Das Umwandeln des Endbilds in ein Kantenbild
  • Da es sich um ein integriertes Verstehen-und-Generieren-Modell handelt, können auch erzeugte Bilder erneut analysiert werden
    • In einem Beispiel, in dem nach der Rasse eines erzeugten Hundes und einer Katze gefragt wird, identifiziert es den Hund als Beagle oder Beagle-Mix und die Katze als Tabby cat

Auflösung, Seitenverhältnis und Multi-Image-Eingabe

  • Qwen VLo verwendet dynamisches Auflösungstraining und unterstützt dadurch die Generierung mit dynamischer Auflösung
  • Sowohl Eingabe als auch Ausgabe erlauben Bilder mit beliebiger Auflösung und beliebigem Seitenverhältnis
  • Statt an feste Formate gebunden zu sein, können Bilder für Szenarien wie Poster, Illustrationen, Web-Banner oder Social-Media-Cover passend erzeugt werden
  • Auch langgezogene Formate wie 4:1 oder 1:3 können verarbeitet werden
    • Die Generierung mit extremen Seitenverhältnissen ist allerdings noch nicht offiziell veröffentlicht
  • Ebenfalls enthalten ist die Fähigkeit, mehrere Eingabebilder zu verstehen und in die Generierung einzubeziehen
    • Als Beispiel wird eine Aufgabe genannt, bei der ein Bild von Toilettenartikeln in ein Bild mit einem roten Korb eingefügt wird
    • Die Multi-Image-Eingabe ist ebenfalls noch nicht offiziell veröffentlicht

Grenzen der Preview-Phase und nächste Richtung

  • Qwen VLo befindet sich noch in der Preview-Phase, daher bestehen noch mehrere Einschränkungen
    • Im Generierungsprozess können Ungenauigkeiten auftreten
    • Ergebnisse können vom Originalbild abweichen
    • Anweisungen werden möglicherweise nicht befolgt
    • Es kann an Stabilität bei der Erkennung und dem Verständnis der Absicht generierter Bilder fehlen
  • Künftig sollen Stabilität und Robustheit weiter verbessert werden
  • Multimodale große Modelle können Text sowie visuelle Ein- und Ausgaben bidirektional verarbeiten und Antworten nicht nur in Text-, sondern auch in Bildform liefern
  • Diagrammerstellung, das Hinzufügen von Hilfslinien und die Annotation von Kernbereichen könnten als vielfältigere Kommunikationswerkzeuge genutzt werden
  • Auch die Richtung, Zwischenergebnisse wie Segmentierungs- oder Detektionskarten zu erzeugen, damit das Modell sein eigenes Verständnis überprüfen und seine Leistung verbessern kann, soll weiter erforscht werden

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-06-29
Meinungen auf Hacker News

  • Schade, dass es keine veröffentlichten Gewichte gibt. Qwens Stärke war historisch seine Strategie mit offenen Gewichten, und es wäre schön gewesen, ein wirklich offenes Modell mit veröffentlichten Gewichten zu bekommen, das mit der autoregressiven Bilderzeugung von 4o konkurriert.
    Es gibt viele interessante Forschungsrichtungen, die nur möglich sind, wenn man Zugriff auf die Gewichte hat. Falls die Sorge darin besteht, die Entwicklungskosten wieder hereinzuholen, könnte man sich an BFLs Veröffentlichung von Flux Kontext Dev orientieren: Gewichte kostenlos für Forschende und Privatpersonen, dazu eine kommerzielle Lizenz zu vernünftigen Preisen für Startups.

    • Wenn man sich den orangenen Farbstich der Bilder ansieht, wirkt es ziemlich offensichtlich, dass sie mit OAI-Outputs trainiert haben. Ich frage mich, ob sie überhaupt versucht haben, eigene Daten zu erstellen.
      Am Ende wurde mit OAI trainiert, es ist genauso geschlossen wie OAI und, wichtiger noch, schlechter als OAI. Die Strategie, so etwas hinter einer API einzusperren, ist merkwürdig.

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

    • Aus irgendeinem Grund scheint die Ära offener Gewichte in China vorbei zu sein. Es wirkt wie eine plötzliche und koordinierte Bewegung.
      Alibaba hat aufgehört, Qwen zu veröffentlichen, Tencent hat aufgehört, Hunyuan zu veröffentlichen, und Bytedances Seedream ist geschlossen erschienen. Trotzdem scheint es weiterhin klar zu sein, dass mit Outputs westlicher Modelle trainiert wird. Strategisch halte ich es für richtiger, zu 100 % offen zu gehen und Infrastruktur/Services zu verkaufen.

    • Wenn man von offenen Gewichten spricht, sollten die Leute sie dann nicht frei verwenden können?
      Der vorgeschlagene Ansatz klingt eher nach Trial-Gewichten, Shareware-Gewichten oder akademischen Gewichten als nach „offenen Gewichten“. Wenn die Bedeutung fehlt, dass man sie wie Open-Source-Software für alles verwenden kann, vermittelt der Begriff „offen“ einen falschen Eindruck.

    • Ich persönlich bin skeptisch, ob man allein über Gebühren für Bilderzeugung Investitionen in Höhe von zig Millionen Dollar, GPU-Zeit und Ingenieursgehälter wieder hereinholen kann.

  • Für meine Augen liegen all diese Bilder im Uncanny Valley. Farben und Schatten wirken alle daneben.

    • Alles ziemlich schlampig. Ich bin mir nicht sicher, wofür solche Outputs außerhalb der Forschung zu gebrauchen wären.

  • Wenn ich mir das Beispiel zur Bearbeitung des Bärenbildes ansehe, scheint das Modell mehr zu ändern, als verlangt wurde.
    Es sollte den Hintergrund ändern, aber auch der Bär selbst wurde komplett verändert; das Hemd ist gleich, aber Fell und Gesicht sind eindeutig anders. Auch als der Bär in einen Ballon verwandelt wurde, wurde der Hintergrund geändert, der Asphalt entfernt, und der linke Kern der Wassermelone verschwand ebenfalls. Ich frage mich, ob sich das mit einem besseren Prompt beheben lässt oder ob es eine Grenze des Modells/der Architektur ist.

    • Beides. Mit einem besseren Prompt kann man das Ergebnis verbessern, aber die Grundursache sind miteinander verflochtene Grenzen der Architektur und des Trainingsverfahrens.

  • Als eine Art Pflicht-Test habe ich das Bild eines Pelikan auf einem Fahrrad als Bild statt als SVG ausprobiert und auch ein paar Akkordeon-Bilder erstellt. Es hat etwas Schwierigkeiten, Finger und schwarze Tasten korrekt zu treffen, ist aber ziemlich schnell.
    https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...

    • Ich glaube, du hast Simons Testpunkt verfehlt. Dass eine KI ein Bild von einem Pelikan auf einem Fahrrad zeichnet, ist schon seit irgendeinem Zeitpunkt zwischen Stable Diffusion 2 und 3 gelöst.
      Die Herausforderung liegt darin, SVG statt eines pixelbasierten Formats zu verwenden. Denn um ein SVG richtig zu erzeugen, braucht es ein gewisses Maß an Schlussfolgern.

  • Seltsamerweise haben die Beispiele für Bildänderungen, also Bearbeitung oder Style Transfer, diesen leicht gelblichen Farbstich, den man beim neuesten Bildmodell GPT Image 1, also ChatGPT 4o, sieht. Flux Kontext scheint diesen Eindruck nicht zu haben; ich frage mich, woran das liegt.

  • Ich weiß nicht, wie man das automatische Vorlesen stoppt. Kann eine Website nicht einfach stillstehen und warten, bis ich ihr sage, dass sie etwas tun soll?
    Unter „watch“ wurde ein Video automatisch im Vollbild abgespielt und fing direkt an, vorgelesen zu werden. Zur Info: Firefox auf iOS.

    • Einstellungen => Website-Einstellungen => Automatische Wiedergabe: Audio und Video blockieren
      Das bezieht sich auf Firefox Android, daher weiß ich nicht, ob die iOS-Version dieselbe Funktion hat. Auf dem Desktop gibt es sie auch. Dort kann man auch komplett verhindern, dass Websites um die Erlaubnis bitten, Benachrichtigungen zu senden.

  • Als Machine-Learning-Forscher und jemand mit Physikabschluss bin ich ziemlich vorsichtig damit, bei solchen Modellen von Verstehen und „Beschreiben“ zu sprechen. Besonders der Begriff Verstehen ist wenig hilfreich und ehrlich gesagt schädlich.
    In der Physik verwendet man Mathematik wegen ihrer Konkretheit, und aus demselben Grund ist Programmieren schwierig. Ich glaube, Menschen unterschätzen, wie viel sie von der Welt verstehen. Worauf es ankommt, sind feine Unterschiede, aber weil sie so alltäglich sind, vergessen wir oft ihre Bedeutung. Asimovs „Relativity of Wrong“ ist lesenswert. Um sagen zu können, dass solche Systeme etwas verstehen, müssten sie Deduktion und Abduktion leisten, Konzepte und Ideen verfeinern und mehr entdecken können als nur Kombinationen dessen, was sie aufgenommen haben. Nach dem Training auf dem gesamten menschlichen Wissen dieses Wissen einfach wiederzugeben, beweist keine Intelligenz. Es ist zwar unwahrscheinlich, dass Wissen in einem Modell dieser Größe verlustfrei komprimiert wurde, aber ohne tief in Daten und Wissen einzutauchen, ist es sehr schwer zu erkennen, was es weiß und was es auswendig gelernt hat. Etwas Nützliches zu bauen und Intelligenz zu bauen sind unterschiedliche Probleme.

    Für echtes Verstehen müsste es kontrafaktisches Denken vorschlagen können. Jede physikalische Aussage ist eine kontrafaktische Aussage. Nimmt man F=ma als Beispiel, kann man die Kraft berechnen, auch wenn man Masse oder Beschleunigung ändert. Man kann beobachten, dass sich eine bestimmte Masse mit einer bestimmten Beschleunigung bewegt, und fragen: „Was wäre, wenn sie doppelt so schwer wäre?“ – und darauf antworten. Auch das Weltmodell des Menschen tut so etwas. Wir erklären es nur nicht mathematisch; wir stellen Kontrafaktisches auf und gehen ziemlich oft gut damit um. Ich glaube nicht, dass moderne Machine-Learning-Systeme so etwas wirklich tun.

Das Bild im Originalbeitrag ist ein gutes Beispiel für mangelndes Verständnis. Rechts ist nicht nur die Anzahl der Finger falsch, auch die Tasten der Tastatur sind seltsam. Dass sich Tasten nicht wiederholen sollten, erkennt man schon mit ein wenig Verständnis. Auch das Layout ist chaotisch wie Gegenstände in einem Traum, die Anzahl der Tasten passt vermutlich nicht zur Anzahl der Beschriftungen, und die Größen wirken ebenfalls verschoben. Je länger man hinsieht, desto schlimmer wird es – auch das ist bei solchen Systemen häufig. Auf den ersten Blick sieht es okay aus, aber je genauer man hinsieht, desto tiefer gerät man ins Uncanny Valley.

https://youtube.com/watch?v=cDA3_5982h8

Code ist Mathematik. Zwischen Turing-vollständigen Sprachen und berechenbarer Mathematik gibt es eine Isomorphie. Wer es genauer wissen will, kann Church und Turing nachschlagen. Natürlich sind Physik und Mathematik nicht dasselbe, aber Mathematik ist unvernünftig effektiv.

https://hermiene.net/essays-trans/relativity_of_wrong.html

https://en.wikipedia.org/wiki/Counterfactual_thinking

  • Aus Sicht von jemandem, der etwas baut, sind solche Strohmann-Argumente ermüdend
    Es ist hilfreich, Eingaben und Ausgaben mit allgemein verständlichen Wörtern zu beschreiben. Außerdem wurden Anführungszeichen verwendet, um zu signalisieren, dass nicht auch noch die langfristigen Implikationen dieser Wörter übertrieben behauptet werden. Wer das Release liest, erfährt ungefähr: Qwen war früher ein VLM, das sehen/wahrnehmen/verstehen konnte, und kann nun Bilder erzeugen/beschreiben/zeichnen. Mehr Krise muss man daraus nicht machen.

  • Ich frage mich, ob es zu diesem Modell oder zu anderen Modellen, die Bilder auf ähnliche Weise wie 4o erzeugen, einen technischen Bericht gibt. Ich würde die Architektur der Bilderzeugung im Stil von 4o wirklich gern verstehen.

  • Meiner Ansicht nach hat Machine Learning deutlich mehr Fortschritte darin gemacht, die Welt zu beschreiben, als sie zu „verstehen“

    • Mich würde interessieren, warum Menschen glauben, wir würden die Welt besser verstehen. Wir haben Gefühle gegenüber der Welt, aber Gefühle vermitteln kein Verständnis. Auch „Verständnis“ muss hier noch definiert werden.
      „Ich verstehe“ ist im Grunde nur ein beliebiger persönlicher Maßstab.

  • Bilder werden auf 256 Token komprimiert, bevor das Sprachmodell sie sieht. Wenn man darum bittet, einen Hut hinzuzufügen, wird das ganze Gesicht neu gezeichnet, weil Objekte nicht separat gespeichert werden.
    Es gibt keinen persistenten Bären im Speicher; alles befindet sich in einer einzigen verschmolzenen Suppe des latenten Raums. Unter der neuen Einschränkung wird erneut gesampelt, und schon eine kleine Änderung am Prompt bringt das Gleichgewicht des gesamten Embeddings neu ins Lot. Deshalb breiten sich auch kleine Bearbeitungen über das ganze Bild aus. Es wirkt wie eine Single-Shot-Szenensynthese und ist für andere Zwecke nützlich.

    • Deshalb gefällt mir Flux Kontext. Es hat ähnliche Bearbeitungsfähigkeiten wie ein multimodales Modell, ohne Details zu zerstören.
      Die Bearbeitung mit gpt-image-1 passt gut zu vollständigen Stiländerungen wie „mach es im Ghibli-Stil“, eignet sich aber weniger gut dafür, einer realistischen Aufnahme eine Brille hinzuzufügen und dabei alle Details beizubehalten.