FLUX 3 x mimic: Das Video-Aktions-Modell der nächsten Generation für Roboter

 (bfl.ai)
1 Punkte von GN⁺ 3 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Black Forest Labs und mimic robotics haben FLUX-mimic entwickelt, das die auf dem gemeinsam trainierten FLUX-3-Backbone für Bild, Video und Audio basierende Robotik-Aktionsvorhersage kombiniert und bereits in der Audi-Produktion getestet und ausgerollt wurde
  • Über die Videovorhersage, die mehr als 95 % der gesamten Trainingsrechenleistung ausmacht, lernt das Modell Kontakt, Bewegung, Gewicht und Kausalität; niedrigdimensionale Roboteraktionen werden ebenfalls als zusätzliche Modalität verarbeitet, die dieselbe physische Realität beschreibt
  • Unmittelbar nach dem Hinzufügen der Aktionsvorhersage sank die Qualität der Videogenerierung zunächst um bis zu 10 %, erreichte aber nach 3.500 Schritten wieder das ursprüngliche Niveau, was zeigt, dass ein einziges Backbone sowohl Generierung als auch Aktionsvorhersage leisten kann
  • Mit Self-Flow wurden Generierungs- und Repräsentationslernen vereinheitlicht und ein leichter Aktionsdecoder angebunden; dadurch wurden auf einer einzelnen NVIDIA RTX 5090 unter 80 ms für die Backbone-Verarbeitung und eine gesamte Roboterreaktionszeit von 101 ms erreicht
  • Ein World Model, das allgemeine Videos und Manipulationsaufgaben im großen Maßstab trainiert hat, kann sich mit wenigen Demonstrationen an neue Aufgaben anpassen und nach Fehlern erneut versuchen; dadurch eignet es sich für Produktionsaufgaben wie flexible Bauteile und präzise Manipulation, deren Automatisierung bisher teuer war

Ein Backbone für Content-Erzeugung und Robotersteuerung

  • Während sich FLUX 1 und FLUX 2 auf Bildgenerierung konzentrierten, wurde FLUX 3 von Anfang an gemeinsam auf Bild, Video und Audio trainiert und erzeugt audiovisuelle Inhalte gemeinsam
  • Black Forest Labs stellte mimic robotics eine frühe Version von FLUX 3 zur Verfügung und entwickelte durch die Kombination der Robotik-Lern- und Deployment-Expertise von mimic mit der Foundation-Model-Kompetenz beider Unternehmen FLUX-mimic
    • mimic verantwortet eigene Roboter, Robotik-Training, anspruchsvolle Manipulation und den Einsatz in Produktionsumgebungen
    • Black Forest Labs bringt visuell basierte Modelle sowie Fähigkeiten für multimodales Lernen und Modellierung ein
  • FLUX-mimic ist ein auf dem FLUX-3-Backbone basierendes universelles Video-Aktions-Modell für Manipulation und ist in das Full-Stack-Deployment-System von mimic integriert
  • Dasselbe Backbone erzeugt gleichzeitig Bild-, Video- und Audioinhalte und führt in Physical AI Aktionen aus

Die physische Welt durch Videovorhersage lernen

  • Mehr als 95 % der Trainingsrechenleistung von FLUX 3 werden für Videovorhersage verwendet
    • Um realistische Videos zu erzeugen, muss das Modell Kontakt, Bewegung, Gewicht sowie Ursache und Wirkung lernen; wenn das misslingt, wirken auch die resultierenden Videos unnatürlich
    • Der Prozess, die Welt korrekt zu rendern, ist mit dem Lernen darüber verbunden, wie die Welt funktioniert
  • Audio ist eine niedrigdimensionale Modalität und macht in 720p-Videos mit Ton weniger als 0,5 % der Tokens aus
    • Ein Modell, das Videos versteht, kann die Kausalbeziehungen zwischen lippensynchroner Sprache und mit physischen Ereignissen verknüpften Soundeffekten lernen
  • Auch Roboteraktionen sind niedrigdimensionale Zustandsrepräsentationen, die eng mit visuellen Beobachtungen gekoppelt sind
    • Aktionen, Audio und Videoframes stellen jeweils teilweise dieselbe physische Realität dar
    • Aktionsvorhersage bedeutet daher nicht, ein separates Foundation Model zu bauen, sondern dem bestehenden World Model eine weitere Beobachtungsform hinzuzufügen

Generierungsqualität nach dem Aktionslernen wiederhergestellt

  • Als der großskalige Trainingsprozess um Aktionsvorhersage erweitert wurde, sanken die menschlichen Bewertungswerte für Text-zu-Video- und Bild-zu-Video-Generierung zunächst um bis zu 10 %
  • Als das Modell die Struktur des Aktionsraums lernte und seine interne Weltrepräsentation ausrichtete, erholte sich die Qualität; nach 3.500 Schritten erreichte es wieder das bisherige Niveau der Videogenerierung und sagte zugleich Aktionen vorher
  • Während der Integration von Aktionen in Ein- und Ausgaben gab es vorübergehende Verwirrung, aber keine dauerhafte Einbuße der bestehenden Fähigkeiten
  • Für Videogenerierung und Aktionsvorhersage ist kein separates Foundation Model nötig; dasselbe einzelne Backbone übernimmt beide Aufgaben

Eine Struktur, die Aktionen aus Weltrepräsentationen dekodiert

  • FLUX-mimic dekodiert Roboteraktionen aus den internen Weltrepräsentationen, die FLUX 3 für die Videogenerierung gelernt hat
  • Wie zuvor bei mimic-video werden Zwischenmerkmale aus dem Videovorhersagepfad von FLUX extrahiert und darüber ein leichter Aktionsdecoder trainiert
  • Die Leistung hängt von zwei verbundenen Faktoren ab
    • Qualität des World Models: Wenn das Modell nicht versteht, wie sich die Welt bewegt, ist auch eine präzise Simulation schwierig; das steht in direktem Zusammenhang mit der Generierungsqualität
    • Qualität der Repräsentation: Wenn Kausalbeziehungen zwischen Modalitäten im Merkmalsraum nichtlinear verflochten sind, muss der Aktionsdecoder sie fast so schwer interpretieren wie die rohen Eingaben
  • Generative Modelle liefern hochwertige Simulationen und vorhersehbare Skalierungsgesetze bei steigender Rechenleistung, können aber weniger entkoppelte Repräsentationen erzeugen als spezialisierte Verfahren des Repräsentationslernens, was ihren Nutzen für nachgelagerte Aufgaben mit Weltverständnis begrenzen kann

Mit Self-Flow vereintes Generierungs- und Repräsentationslernen

  • Self-Flow vereint Generierungslernen und Repräsentationslernen in einem Framework
  • Nach der Anwendung verbesserten sich sowohl die Qualität des World Models als auch die Qualität der Repräsentation
    • Die Leistung des World Models, gemessen an der Generierungsqualität von Video, Bild und Audio, stieg
    • Auch die Qualität der Repräsentation, gemessen an den Erfolgsraten simulierter Robotersteuerungsaufgaben, verbesserte sich
  • FLUX 3 erweitert Self-Flow, um von Anfang an breite Weltdynamiken und Manipulationsfähigkeiten zu lernen
    • Zehnmillionen Stunden allgemeiner Videoinhalte
    • Hunderttausende Stunden Videoinhalte mit Fokus auf menschliche und robotische Manipulation
  • Dieses großskalige Training skaliert die Self-Flow-Ergebnisse aus dem Labor in reale Produktions- und Logistikumgebungen

Fabrikaufgaben und Benchmark-Leistung

  • mimic hat FLUX-mimic in realen Fabrikaufgaben ausgerollt
    • Kitting, also das Ablegen von Teilen in strukturierte Trays
    • Einsetzen elektronischer Steuergeräte in Halterungen mit geringem Spielraum
    • Montage von Bauteilen
    • Handhabung weicher und flexibler Materialien wie Fäden und Kabel
  • Selbst bei vollständig eingefrorenem FLUX-Backbone erzielte der Aktionsdecoder bessere Ergebnisse als frühere Vision-Language-Action-Modelle; diese früheren Modelle konnten in dieser Konfiguration die Aufgaben nicht lösen
  • Beim gemeinsamen Finetuning von Backbone und Aktionsdecoder erreichte FLUX-mimic Spitzenwerte bei der Aufgaben-Erfolgsrate
  • Das großskalige Training vermittelt dem Backbone Wissen über Welt und Aktionen, und Self-Flow macht dieses Wissen in der Merkmalsrepräsentation leicht dekodierbar

Mit wenigen Demonstrationen lernen und sich von Fehlern erholen

  • Wenn physikalische Gesetze bereits in zugänglichen Repräsentationen enthalten sind, bedeutet die Anpassung an neue Aufgaben nicht, die Funktionsweise der Welt neu zu lernen, sondern die konkrete Aufgabe mit bestehendem Wissen zu verknüpfen
  • In Self-Flow-Experimenten halbierte sich die Zahl der für dieselbe Erfolgsrate nötigen Trainingsschritte zur Aktionsvorhersage gegenüber Videomodellen ohne Self-Flow
  • Im Paper zu mimic-video zeigte das Video-Aktions-Modell gegenüber Vision-Language-Action-Modellen eine bis zu 10-fach höhere Stichprobeneffizienz; FLUX-mimic kombiniert beide Effekte
  • Wenn der Roboter beim Greifen eines Objekts scheitert, kann er seine Pose korrigieren, erneut greifen und die Aufgabe abschließen — eine natürliche Fehlererholung
    • Da sich nicht alle Fehlertypen in Demonstrationsdaten abbilden lassen, entstehen nicht demonstrierte Wiederherstellungsaktionen aus einem Modell, das bereits gelernt hat, wie die Welt funktioniert

Ein Robotersystem mit 101 ms Reaktionszeit

  • In realen Umgebungen muss das Modell mit der Geschwindigkeit von Umweltveränderungen Schritt halten, und der Großteil der Rechenkosten von FLUX-mimic entsteht im größten Bestandteil, dem Backbone
  • Eine gut strukturierte Weltrepräsentation erreicht dieselbe Leistung mit weniger Parametern und ermöglicht dadurch kleinere und schnellere Backbones
  • Das optimierte Backbone läuft auf einer einzelnen NVIDIA RTX 5090 in weniger als 80 ms von der Eingabe bis zur Erzeugung der Weltrepräsentation und liegt damit in derselben Größenordnung wie die visuelle Reaktionszeit des Menschen
  • mimic optimierte im gesamten Deployment-Stack die folgenden Faktoren, um zusätzliche Latenz zu reduzieren
    • den Aktionsdecoder
    • prozessübergreifende Latenzen zwischen Sensoren, Modell und Aktuatoren
    • Echtzeit-Chunking, das Vorhersage und Ausführung überlappt, um Stocken des Roboters zu vermeiden
  • Nach allen Optimierungen beträgt die finale Reaktionszeit des autonomen Robotersystems 101 ms

Einsatz in der Audi-Produktion

  • Trotz eines hohen Automatisierungsgrads werden bei Audi flexible Bauteile und Aufgaben der präzisen Manipulation weiterhin manuell ausgeführt
  • Die Produktion von Premiumprodukten umfasst viele Varianten, wodurch es teuer ist, klassisch programmierte Roboterzellen für jeden Einzelfall neu zu entwerfen
    • Lernbasierte Systeme verändern diese Kostenstruktur
  • Das Audi Production Lab hat in Zusammenarbeit mit mimic FLUX-mimic getestet und ausgerollt
    • Es führt komplexe Manipulation weicher Objekte aus, die mit bestehenden Robotern nicht möglich war
    • Es kann zur Unterstützung von Mitarbeitenden, zur Effizienzsteigerung und zur Ausweitung flexibler Automatisierung in Produktion und Logistik eingesetzt werden
  • Die Stichprobeneffizienz und Robustheit von FLUX-mimic beruhen nicht auf aufgabenspezifischem Engineering, sondern auf dem FLUX-3-Backbone und dekodierbaren Repräsentationen; das unterstützt den Transfer zwischen Aufgaben, Branchen und Hardware
  • Ein einziges, auf visueller Intelligenz basierendes Modell erzeugt gleichzeitig Bilder, Videos und Audio und betreibt Roboter auf der Produktionslinie

Verwandte Beiträge

1 Kommentare

 
GN⁺ 3 시간 전
Hacker-News-Kommentare

  • Es scheint, dass sich im Inneren gut trainierter multimodaler Video-Generierungsmodelle Weltrepräsentationsmodelle bilden und dass es gut funktioniert, diese zu extrahieren und auf Roboter anzuwenden.
    Die Idee, dass Videomodelle Materie, Licht und die Welt verstehen, ist nicht neu, aber es kam nur selten vor, dass sich ein Videolabor in ein Robotiklabor verwandelte. Es könnte ein Geschäftsweg sein, erst mit Videogenerierung zu skalieren und dann mit diesen Fähigkeiten Roboter zu trainieren.
    Auch die Hand von BFL ist interessant; sie wirkt, als wären mehrere Geräte im Handschuh versteckt. Xiaomis Robotics-1 erstellt Trainingsvideos mit einem gewöhnlichen Greifer und einem greiferartigen Handschuh, aber das BFL-Modell scheint solche Ausrüstung nicht zu brauchen. Da Hardware ein schwieriges Feld ist, bin ich gespannt auf den weiteren Ansatz.

  • Etwa bei Minute 3:30 war ich ziemlich überrascht von der Szene, in der der Roboterarm nach drei Versuchen die Fensterleiste wieder einsetzt. Eine solche Problemlösung nach Fehlschlägen sehe ich zum ersten Mal, und ich frage mich, ob das eine neue Technik ist.

    • Google hat schon vor mehr als einem Jahr einen VLA-basierten Roboter gezeigt, der einen unter Spannung stehenden Zahnriemen austauscht, was vielleicht noch beeindruckender ist: https://www.youtube.com/watch?v=2AAFiuEP7iE
    • Wer beim aktuellen Stand mithalten will, sollte sich Generalist ansehen, das bei anspruchsvollen Manipulationsaufgaben führend ist: https://generalistai.com/blog/gen-1

  • Bei der Erklärung „für Aufgaben, die Weltverständnis erfordern, sind weniger disentangled Repräsentationen weniger nützlich“ ist es schon komisch, dass das Konzept von „stärker verflochten“ unbedingt als weniger disentangled Repräsentation ausgedrückt wird. Während man die reale Welt beschreibt, macht man zugleich auch den Begriff selbst noch stärker verflochten — das klingt wie typisch LLM-Haftes Formulieren.

    • Inzwischen ist man offenbar an dem Punkt, in jedem Satz ohne Belege Spuren eines LLM zu suchen. Es ist wohl an der Zeit, davon auszugehen, dass jeder Text in gewissem Maß mit Hilfe eines LLM entstanden ist, und nur noch die Qualität des Ergebnisses zu bewerten.
    • Menschen schreiben auch oft holprige Sätze. Solche Formulierungen sind in Trainingsdaten eher selten, daher ist die Wahrscheinlichkeit, dass ein LLM sie erzeugt, womöglich sogar geringer als bei Menschen.
    • War ein Witz.
    • Auch der Gedankenstrich im Original ist ganz klar der Beweis, dass dieses Kommentar von einem LLM geschrieben wurde /s

  • Die Technik hat sich so weit entwickelt, und trotzdem scheinen Filme schlechter denn je zu sein, was mich traurig macht. Um etwas Gutes zu finden, schaue ich oft Filme von vor Jahrzehnten, und obwohl sie lächerliche Puppen benutzten, war der Aufbau der Handlung 1.000-mal besser.

    • Das könnte Survivorship Bias sein: Man schaut keine miserablen alten Filme, an die sich ohnehin niemand erinnert.
    • Würde man eine Investition in BFL ablehnen, nur weil Robin Rombach nichts von Filmemachen versteht? Sora ist erledigt, und es ist schwer, überhaupt jemanden zu finden, der mutig genug wäre, öffentlich zu sagen, dass Bill Peebles nichts von Filmemachen versteht.
      Das ist nicht nur ein Venture-Capital-Problem, sondern hängt mit dem sogenannten Hollywood No zusammen. Umgekehrt könnte auch Hollywood No selbst das Problem sein, und in der Spielebranche wurde das als toxische Positivität bezeichnet.

  • Es freut mich, Zusammenarbeit zwischen europäischen Startups zu sehen.

    • Wurde Flux nicht von Meta übernommen?

  • Das ist die Zukunft und zugleich schon die Gegenwart. Bitte teile das auch mit Bekannten außerhalb von Softwareentwicklung und Engineering.

  • Wir rasen frontal auf eine Krise zu, in der der Wert von Menschen, die die Produktionsmittel nicht besitzen, noch weiter sinkt. Es scheint, als kämen düstere Zeiten.