- Ein multimodales Basismodell, das Bild, Video und Audio in einer einzigen Architektur gemeinsam trainiert, um Generierung, Verständnis und Handlungsvorhersage zu integrieren; zunächst als Early Access mit FLUX 3 Video verfügbar
- Lernt die räumliche Struktur von Bildern, die zeitliche und physikalische Dynamik von Videos sowie Ereignis- und Klangbeziehungen von Audio als wechselseitige Beschränkungen und skaliert Daten- und Rechenressourcen auf Basis von Self-Flow
- Erzeugt Videos mit nativem Audio von bis zu 20 Sekunden Länge in einem Durchgang und wurde in ersten Bewertungen gegenüber Grok Imagine Video um bis zu 69 %, Runway Gen-4.5 um 77 % und Luma Ray 3.2 um 93 % bevorzugt
- Unterstützt Bildsynthese und -bearbeitung sowie mehrsprachiges Text-Rendering und kann durch Fine-Tuning eines vortrainierten Video-Backbones mit begrenzten aufgabenspezifischen Daten als Roboter-Handlungsmodell genutzt werden
- Video, Image, Action und das auf offenen Gewichten basierende FLUX 3 Dev werden schrittweise veröffentlicht; langfristiges Ziel ist die Integration von Wahrnehmung, Handlung und Sprachvorhersage in einem einzigen Modell
Ein multimodales Modell, das die Realität gemeinsam lernt
- FLUX 3 behandelt Bild, Video und Audio nicht als getrennte Elemente, sondern als Beobachtungen derselben Realität durch unterschiedliche Sensoren
- Bilder erfassen die räumliche Struktur und Beziehungen eines bestimmten Zeitpunkts
- Videos rekonstruieren die Zeitdimension und offenbaren Bewegung, zeitliche Dynamik und physikalische Gesetze
- Audio zeigt mechanische Phänomene und kausale Zusammenhänge von Klängen, die visuell allein schwer zu erkennen sind
- Sprache verbindet diese Wahrnehmungen mit Zielen, Abstraktionen und Anweisungen
- Wenn mehrere Modalitäten gemeinsam gelernt werden, lassen sich wechselseitige Beschränkungen nutzen: Geräusche müssen zu Kollisionen passen, Bewegungen der Masse folgen und die Zukunft aus der Vergangenheit hervorgehen
- FLUX 3 ist das erste Modell, das allein auf diesen Prinzipien aufgebaut wurde, und zielt auf visuelle Intelligenz für die reale Welt, die in physischen und digitalen Umgebungen wahrnimmt, vorhersagt und handelt
- Erste Ergebnisse aus Content-Erstellung und Physical AI zeigen das Potenzial dieses Ansatzes
Integrierte Architektur auf Basis von Self-Flow
- Self-Flow ist ein Ansatz, um multimodale Generierung und Verständnis innerhalb einer einzigen Grundarchitektur effizient auszurichten
- FLUX 3 trainiert auf dieser Grundlage Video, Bild und Audio gleichzeitig und skaliert Rechenaufwand und Datenressourcen deutlich nach oben
- In den veröffentlichten Vergleichen wurden Fréchet-Distanzen verwendet, bei denen modalitätsspezifische Generierungsfehler auf 100 nach dem Flow-Matching-Maßstab normalisiert wurden, sowie Erfolgsraten der Manipulation in vier Aufgabengruppen nach dem Fine-Tuning
Video- und native Audio-Generierung
- FLUX 3 kann in einer einzigen Generierung vielfältige Videos und Audios mit einer Länge von bis zu 20 Sekunden erzeugen
- Unterstützt werden unter anderem
- Text-zu-Video-Generierung
- Bild-zu-Video-Generierung, die ein Startbild fortführt oder ein Bild als visuelle Referenz verwendet
- Video-zu-Video-Generierung, die Kernelemente wie Originalfiguren in neue Szenen oder Kontexte überträgt
- Generative kontinuierliche Fortsetzung von Video und Audio auf Basis eingegebener Video- und Audiodaten
- Keyframe-zu-Video-Generierung zur Steuerung von Übergängen zwischen vorgegebenen Szenen
- mehrsprachige Dialoge
- vielfältige visuelle Stile und Seitenverhältnisse jenseits klassischer Filmformate
- agentisches Chaining, das einzelne Clips zu längeren Multi-Shot-Sequenzen verbindet
- eine große Stilbreite von Camcorder-Aufnahmen bis zu Animationen und Filmaufnahmen
- Typografie-Generierung und Animationsdesign
- Alle Videoausgaben enthalten native Audio-Generierung
Erste Video-Bewertung
- Die vorläufige Bewertung wurde mit 720p-Text-zu-Video-Clips von 10 Sekunden mit Audio durchgeführt
- In Vergleichsbewertungen wurde FLUX 3 mit folgenden Raten bevorzugt
- bis zu 69 % gegenüber Grok Imagine Video
- 60 % gegenüber Kling v3 Pro
- 59 % gegenüber Happy Horse v1 und 57 % gegenüber Happy Horse 1.1
- jeweils 52 % gegenüber Seedance 2.0 und Gemini Omni Flash
- 77 % gegenüber Runway Gen-4.5
- 93 % gegenüber Luma Ray 3.2
- Da Modell und umgebendes Harness noch in Entwicklung sind, befinden sich die Ergebnisse noch im Vorstadium und sollen während des Early-Access-Zeitraums weiter verbessert werden
- Derzeit besonders stark sind das Erfassen menschlicher Gesichtsausdrücke, die Verknüpfung physischer Ereignisse mit Geräuschen und die mehrsprachige Verarbeitung
- Mit visuellen Referenzen lässt sich Figurenkonsistenz über mehrere Clips hinweg bewahren, sodass mehrminütige Sequenzen erstellt werden können
- FLUX 3 Video ist als Early Access verfügbar
Bildsynthese und -bearbeitung
- FLUX 3 kann Bilder in verschiedenen Stilen, Seitenverhältnissen und Auflösungen synthetisieren und bearbeiten
- In vorläufigen Bewertungen eines mittleren Trainingsstands wurden die Verarbeitung komplexer Prompts und die Texterzeugung im Vergleich zu früheren FLUX-Versionen deutlich verbessert
- Es kann verschiedene Ausgabestile erzeugen und Text in mehreren Sprachen mit hoher Genauigkeit rendern
- Die Bewertungsergebnisse sind noch vorläufig und sollen bis zur offiziellen Veröffentlichung weiter verbessert werden
- Der Early Access für FLUX 3 Image soll in den kommenden Wochen starten
Handlungsvorhersage und Robotik-Lernen
- Um das Verständnis der Realität auf Handlungsvorhersage auszuweiten, werden zwei Wege genutzt
- Die frühen Arbeiten zu Self-Flow werden erweitert, um native Handlungsvorhersage direkt in FLUX 3 zu integrieren
- Ein vortrainierter Video-Backbone dient als Grundlage zum Verständnis von Dynamik, auf die mit begrenzten aufgabenspezifischen Daten spezialisierte Handlungsmodelle feinabgestimmt werden
- Gemeinsam mit dem frühen Zugangspartner mimic robotics wurde FLUX-mimic entwickelt
- Ein Video-Handlungsmodell, das den FLUX-3-Backbone mit mimics Expertise in anspruchsvollem robotischem Manipulationslernen und produktivem Deployment verbindet
- Separat veröffentlicht wurde auch ein Beitrag darüber, wie bei realen Produktionsaufgaben von Audi eine gemeinsame Grundlage für Physical AI und Content-Erstellung erprobt wird
Schrittweise Veröffentlichung nach Funktionen
- Jede Funktion wird in den kommenden Wochen bis Monaten über Early Access bereitgestellt, um einen reibungslosen Rollout, Feedback-Sammlung und strenge Sicherheitstests zu ermöglichen
- Alle leiten sich vom selben multimodalen, auf Flow Matching basierenden Modell ab
- FLUX 3 Video: Video- und Audio-Generierung sowie -Bearbeitung per API und mit privatem Gewichts-Zugang
- FLUX-mimic·FLUX 3 Action: Handlungsvorhersage für ausgewählte Forschungs- und kommerzielle Partner, beginnend mit mimic robotics
- FLUX 3 Image: Bildsynthese und -bearbeitung per API und mit privatem Gewichts-Zugang
- FLUX 3 Dev: offene Gewichte des multimodalen Backbones für Video-, Audio- und Bild-Content-Erstellung sowie Handlungsvorhersage
- Weitere technische Details zum zugrunde liegenden Ansatz sollen ebenfalls veröffentlicht werden; Early Access kann beantragt werden
Integration von Wahrnehmung, Handlung und Sprache
- Als künftige Einsatzfelder nennt das Unternehmen interaktive Bild- und Videobearbeitung, Simulation, Computer-Nutzung und Physical AI
- Während die aktuellen Funktionen schrittweise veröffentlicht werden, läuft parallel bereits die Entwicklung der nächsten Modellgeneration
- Das endgültige Ziel ist es, Wahrnehmung, Handlung und Sprachvorhersage in einem einzigen integrierten Modell zu vereinen
1 Kommentare
Hacker-News-Kommentare
Ich hoffe, dass die Version mit offenen Gewichten State of the Art (SOTA) sein wird.
In den kommenden Wochen bis Monaten sollen für die multimodalen Grundlagenmodelle FLUX 3 Dev für Content-Erstellung und Verhaltensvorhersage offene Gewichte bereitgestellt werden; außerdem sollen technische Details des zugrunde liegenden Ansatzes veröffentlicht werden.
Wenn das Basismodell als Dev-Version erscheint, ist aus dem Beitrag auch schwer zu erkennen, was dabei fehlen wird.
Es gibt fast keine Beispiele mit Menschen, der Begriff World Model wird ziemlich leichtfertig verwendet, und obwohl ein 20-Sekunden-Video behauptet wird, sieht man in Wirklichkeit nur Jump Cuts.
Am Ende heißt es bei allem Wesentlichen nur „bald verfügbar“.
Möglicherweise hat auch das Reinforcement Learning diesen Begriff aus den Verhaltenswissenschaften übernommen, also sollte man es vielleicht einfach akzeptieren. Ähnlich wie Philosoph:innen und bildende Künstler objektorientiert jeweils auf ihre eigene Weise missbraucht haben.
Die Reaktionen hier sind überraschend negativ und zynisch, aber in meinen Augen wirkt die Leistung dieses Modells ziemlich beeindruckend.
Es heißt ja auch, dass negative Leute immer zuerst gehässige Kommentare hinterlassen, daher will ich erst einmal weiter abwarten.
Ich habe das Gefühl, dass die negative Stimmung auf HN in letzter Zeit zugenommen hat; hoffentlich täusche ich mich.
Wenn man die passende Ausführungsumgebung hat und das Fachgebiet gut genug versteht, um zu erkennen, wann ein Modell in falsches Schlussfolgern gerät oder subtil falsche Ergebnisse liefert, bin ich ziemlich optimistisch. Wenn ich dagegen sehe, wie soziale Medien mit schrecklichen KI-generierten Bildern und Videos überschwemmt werden, bin ich viel pessimistischer, was den praktischen Nutzen vollständig synthetischer Bild- und Videogeneratoren angeht. In den Händen von Millionen Menschen scheinen sie der Gesellschaft eher zu schaden als zu nützen.
Wenn dieses Videomodell auf einem ähnlichen Niveau wie Seedance 2.0 liegt, sind die Kosten zu hoch für die Erzeugung minderwertiger Inhalte, und es wird eher in die VFX-Pipeline eines Projekts eingehen.
Ich frage mich, ob irgendwo haptische Daten zum Trainieren von Modellen verwendet werden.
Das Wichtigste, was ich von Robotern will, ist, dass sie Objekte berühren, aber ihnen werden nur Audio, Video und Bilder gegeben, sodass ein Modell, das noch nie etwas berührt hat, lernen muss, wie man Kontakt herstellt. Das könnte auch erklären, warum Roboter beim Berühren von Objekten zögerlich wirken.
Flux 2 Dev Klein war unter den Modellen, die auf gewöhnlicher kommerzieller Hardware nutzbar sind, faktisch das Beste.
Ich hoffe, dass FLUX 3 ein entsprechendes modernes Modell mit offenen Gewichten enthält; andernfalls wäre das für viele Hobby-Nutzer ein großer Verlust.
Das ist das erste KI-Projekt aus Europa, bei dem ich wirklich große Erwartungen habe.
Es heißt, sie stellen in Freiburg im Breisgau ein; ich frage mich, ob sie dort lokal gut Talente finden.
Ein Freund, der dort lebt, fährt gern Rennrad in den umliegenden Bergen, und ein anderer geht im Winter in der Mittagspause Langlauf machen.
Über den Talentpool weiß ich nicht viel, aber es gibt eine Universität.
Es ist durchaus üblich, dass Startups außerhalb von SF in Universitätsstädten rekrutieren.
Bis zu der Szene, in der im überfluteten Zimmer getanzt wurde, dachte ich, es sei Realfilm.
Version 2.3 war großartig, und wenn man sich die von Personen mit Early Access veröffentlichten Videos und Einschätzungen ansieht, scheint dieses Modell für den Heimgebrauch der neue State of the Art zu werden; ich freue mich sehr darauf.
Wenn das Modell lernen muss, die Geräusche der Welt und von Ereignissen darzustellen, hoffe ich aus Spaß, dass man im Training eine unrealistisch große Menge an Wilhelm scream einbaut.