Xiaomi-Robotics-1 – ein Robotik-Foundation-Model, trainiert mit 100.000 Stunden realer Daten

• Ein Foundation Model, das zunächst mit 100.000 Stunden roboterunabhängiger UMI-Trajektorien vortrainiert und anschließend mit realen Roboterdaten weitertrainiert wurde, um den Datenmangel bei Robotik-Policy-Modellen zu entschärfen
• Mehr als 1.700 Szenarien wurden automatisch annotiert, um allgemeine Fähigkeiten zur Handlungserzeugung zu erlernen; im anschließenden Training erfolgt eine Ausrichtung auf Roboterformen und natürlichsprachliche Befehle
• Mit zunehmender Größe der Vortrainingsdaten und des Modells sank der Validierungsfehler bei Aktionen; nach dem anschließenden Training stieg auch die Erfolgsquote realer Roboter in unbekannten Umgebungen und mit unbekannten Objekten kontinuierlich, ohne Anzeichen einer Sättigung
• Mit im Schnitt weniger als 10 Stunden Demonstrationen pro Aufgabe erreichte das Modell bei Telefonverpackung, Drucker-Nachfüllung, Wäscheeinlegen und Kartonverpackung eine Gesamterfolgsquote von 75 %; bei durchschnittlich weniger als 40 Stunden wurden 85 % erreicht
• Auf RoboCasa, RoboCasa365, VLABench und RoboDojo erzielte es jeweils die beste Leistung; der Generalisierungseffekt großskaligen UMI-Vortrainings überträgt sich damit auf die Anpassung realer Roboter und Standard-Evaluierungen

---

Zweistufiges Training zur Überwindung der Robotik-Datenbarriere

• Sprach- und visionbasierte Modelle wurden mit mehr Daten, Parametern und Rechenleistung leistungsfähiger, doch Robotik-Policy-Modelle waren bislang durch den Mangel an großskaligen hochwertigen Daten in ihrer Skalierung begrenzt
• Xiaomi-Robotics-1 nutzt ein zweistufiges Trainingsverfahren: Vortraining mit großskaligen roboterunabhängigen UMI-Daten und anschließendes Training mit vergleichsweise wenigen realen Roboterdaten
• So wird untersucht, wie Robotik-Policy-Modelle skalieren und ob Verbesserungen aus dem Vortraining auf die Leistung realer Roboter übertragen werden

Aufbau der Vortrainings- und Anschluss-Trainingsdaten

• Die Vortrainingsdaten bestehen aus 100.000 Stunden UMI-Trajektorien
  • Sie decken mehr als 1.700 Szenarien und vielfältige Aufgaben ab, darunter Haushalte, gewerbliche Einrichtungen, Industrieumgebungen und Außenbereiche
  • Es wurde eine automatische Annotierungs-Pipeline entwickelt, die Trajektorien in Abschnitte fester Länge unterteilt und die Zustandsänderungen der Szene in jedem Abschnitt sprachlich beschreibt
• Für das anschließende Training wird ein Datensatz verwendet, der mehrere Roboterformen abdeckt
  • Selbst erhobene reale Roboterdaten
  • Gefilterte Open-Source-Robotikdaten
  • Sorgfältig ausgewählte hochwertige UMI-Daten
• Die eigenen Daten umfassen mehr als 7.200 Stunden realer Roboteraufgaben, die in echten Haushalten gesammelt wurden
  • Sie behandeln Aufgaben wie Sofa aufräumen, Schuhschrank sortieren und Küchenutensilien verstauen
• Die UMI-Daten für das anschließende Training wurden hinsichtlich Zeitabschnitten und Befehls-Prompts manuell annotiert
  • Dies unterscheidet sich von den automatisch generierten Beschreibungen von Zustandsübergängen, die für die Vortrainingsdaten verwendet wurden

UMI-Vortraining und automatische Annotation

• Das Vortraining dient dazu, durch Kontakt mit unterschiedlichen realen Umgebungen und Aufgaben allgemeine Repräsentationen zur Handlungserzeugung zu erlernen
• Da manuelle Annotation in diesem Datenumfang schwierig ist, wurde eine automatisierte Pipeline mit einem leistungsfähigen Vision-Language Model (VLM) aufgebaut
  • Lange Videos werden in Clips fester Länge unterteilt
  • Für jeden Clip beschreibt das VLM die Zustandsänderungen des Greifers und des interagierenden Objekts
  • So entsteht ein großskaliger Korpus, der reale Manipulationstrajektorien mit präzisen Sprachbeschreibungen kombiniert
• Das Modell lernt, Handlungen zu erzeugen, die eine Szene entsprechend sprachlich beschriebener Zustandsübergänge verändern
• Mit wachsender Daten- und Modellgröße zeigt sich ein klares Skalierungsverhalten: Der Validierungsfehler bei Aktionen nimmt kontinuierlich ab

Ausrichtung auf reale Roboter und natürlichsprachliche Befehle

• Das anschließende Training richtet die im Vortraining erworbene Fähigkeit zur Handlungserzeugung entlang zweier Achsen aus
  • Ausrichtung auf Roboterformen: Allgemeine Fähigkeiten zur Handlungserzeugung werden mithilfe hochwertiger realer Roboterdaten für mehrere Formen auf physische Roboter abgebildet
  • Befehlsausrichtung: Das Modell, das zuvor Beschreibungen von Szenenzustandsübergängen als Eingabe erhielt, wird darauf umgestellt, natürlichsprachliche Befehle zu verstehen und direkt auszuführen
• Nach Abschluss des anschließenden Trainings kann das Modell ohne zusätzliche Anpassung für verschiedene reale Mobilitäts- und Manipulationsaufgaben genutzt werden
• Um zu prüfen, ob sich der Skalierungseffekt des Vortrainings überträgt, wurde die Leistung realer Roboter in ungesehenen Umgebungen und mit ungesehenen Objektinstanzen evaluiert
• Mit wachsender Größe der Vortrainingsdaten und des Modells steigt auch die Erfolgsquote realer Roboter stetig und vorhersagbar
  • Stärkere vortrainierte Modelle zeigen auch nach dem anschließenden Training eine höhere reale Roboterleistung
  • Bei der Erfolgssteigerung durch mehr Daten und größere Modelle gab es keine Anzeichen einer Sättigung

Neue Aufgaben mit wenig Daten lernen

• Xiaomi-Robotics-1 passt sich mit nur wenigen Stunden realer Roboterdemonstrationen pro Aufgabe an komplexe neue Aufgaben an
• Als Evaluierungsaufgaben dienen Telefonverpackung, Drucker-Nachfüllung, Wäscheeinlegen und Kartonverpackung
• Bei durchschnittlich weniger als 10 Stunden Demonstrationen pro Aufgabe erreichte es eine Gesamterfolgsquote von 75 % und lag damit deutlich vor den 40 % des Basismodells Ï0.5 bei gleichem Datenbudget
  • Telefonverpackung: XR-1 70 %, Ï0.5 30 %
  • Drucker-Nachfüllung: XR-1 70 %, Ï0.5 20 %
  • Wäscheeinlegen: XR-1 80 %, Ï0.5 40 %
  • Kartonverpackung: XR-1 80 %, Ï0.5 70 %
• Wird auf durchschnittlich weniger als 40 Stunden pro Aufgabe erhöht, steigt die Gesamterfolgsquote auf XR-1 85 % und Ï0.5 53 %
  • Telefonverpackung: XR-1 80 %, Ï0.5 40 %
  • Drucker-Nachfüllung: XR-1 60 %, Ï0.5 20 %
  • Wäscheeinlegen: XR-1 100 %, Ï0.5 50 %
  • Kartonverpackung: beide Modelle 100 %

Leistung auf vier Simulations-Benchmarks

• Auf vier wichtigen Simulations-Benchmarks mit Fokus auf Generalisierung erzielte das Modell jeweils die beste Leistung
  • RoboCasa: durchschnittliche Erfolgsquote 74,5 %, 2,6 % Verbesserung gegenüber 72,6 % des Zweitplatzierten
  • RoboCasa365: 57,4 %, 23,2 % Verbesserung gegenüber 46,6 % des Zweitplatzierten
  • VLABench: 59,1 %, 11,1 % Verbesserung gegenüber 53,2 % des Zweitplatzierten
  • RoboDojo: 13,93 %, 58,3 % Verbesserung gegenüber 8,80 % des Zweitplatzierten
• Die im Vortraining erzielten Generalisierungs- und Skalierungseffekte übertragen sich damit auch auf standardisierte Simulationsevaluierungen

Skalierungsergebnisse und Einsatzbereich

• Großskaliges UMI-Vortraining mildert den Robotik-Datenengpass, während die Ausrichtung auf reale Roboter und Befehle die allgemeine Fähigkeit zur Handlungserzeugung auf physische Roboter überträgt
• Die Leistungssteigerungen durch größere Vortrainingsdaten und größere Modelle spiegeln sich nach dem anschließenden Training direkt in der sofort nutzbaren Leistung realer Roboter wider
• Das fertige Foundation Model passt sich mit wenig Daten an neue Aufgaben an und erreicht zugleich Spitzenleistung auf vier Simulations-Benchmarks zur Generalisierung
• Als reales Anwendungsbeispiel wurde außerdem ein uneditiertes Video vom Packen eines Reisekoffers veröffentlicht

[GN⁺]

Hacker-News-Kommentare

• Ich habe beim Anschauen des Videos breit gegrinst, so sehr, dass ich die pessimistischen Reaktionen hier kaum verstehen kann. Es gibt endlich einen Wäsche waschenden Roboter, und das Modell wurde offenbar zumindest kostenlos veröffentlicht. Das ist die Zukunft, die wir uns gewünscht haben, und genau dafür sollte Robotik eingesetzt werden

  • Auf HN gibt es viel unterschwellige oder offene anti-chinesische Stimmung, und das dürfte die pessimistischen Reaktionen erheblich beeinflusst haben
  • Die jüngsten Ergebnisse aus Chinas KI- und Robotikbereich haben der ganzen Welt einen großen Nettovorteil gebracht. Open Source ist gut, unabhängig von der Herkunft
  • Die beste KI oder das beste Large Language Model wird nicht noch ein weiterer Frage-und-Antwort-Chatbot oder die Automatisierung von E-Mails und Essays sein, sondern Robotik. Ich will, dass sie abwäscht, Wäsche macht und sogar Dinge findet, die ich irgendwo hingelegt und vergessen habe
  • Dass ein Link, der Technik zeigt, die noch vor wenigen Jahren unmöglich war, unter Nachrichten über Kagis ähnlichen Browser begraben wird, zeigt gut die Prioritäten der HN-Leserschaft. Der Westen könnte in der Robotik wegen der falschen Prioritäten von Venture-Investoren und Entwicklern zurückfallen
  • Das ist die erstaunlichste Technologie, die ich in meinem Leben gesehen habe, so sehr, dass es sich anfühlt, als sei die Singularität schon da. Bald könnten solche Roboter vielleicht sogar Babys betreuen und großziehen

• Dieses Video enthält mehrere klassisch sehr schwierige Aufgaben, daher sollte jeder, der nicht beeindruckt ist, froh sein, dass er es nicht selbst schon vor 10 Jahren bauen musste
  Es umfasst bimanuelle Koordination, eine mobile Basis, verformbare Objekte, dünne Eingriffspunkte wie Reißverschlüsse an Taschen und das Greifen mehrerer Objekte auf einmal. Jedes davon wurde in Wahrnehmung oder Manipulation separat erforscht und reicht für mehrere Doktorarbeiten

• Beim Anblick des beidhändigen Roboters dachte ich, dass viele Aufgaben leichter wären, wenn es eine dritte Hand mit anderen Fähigkeiten gäbe, etwa einen tentakelartigen Greifer. Mehr Gliedmaßen bringen zwar mehr Probleme, aber auch den großen Vorteil zusätzlicher Möglichkeiten, Objekte festzuhalten und zu drehen

  • Um eine dritte Hand anzulernen, bräuchte man große Mengen direkt vom Menschen teleoperierter Daten. Für zwei Hände gibt es reichlich Videos menschlichen Verhaltens, für zusätzliche Gliedmaßen aber nicht, daher müssten sich Roboter künftig wohl selbst verbessern oder es müssten neue Optimierungsmethoden entstehen
  • Im SF-Roman The Mote in God's Eye kommen Außerirdische mit drei Händen vor. Wegen einer Hand zum Festhalten von Objekten in Bauchhöhe und zwei Händen für Präzisionsarbeit entstehen dort sogar Formulierungen wie „einerseits, andererseits, mit der festhaltenden Hand“
  • Wer schon einmal an einem Auto geschraubt hat, weiß, dass eine zusätzliche Hand immer nützlich wäre
  • Auch für die Zahl der Gliedmaßen bräuchte es so etwas wie Amdahls Gesetz

• Ich möchte die Art, wie man es akzeptiert, wenn ein Roboter Kleidung etwas zerknittert und schlampig faltet, weil das trotzdem bequemer ist als sorgfältiges Falten und Bügeln, Slopfold nennen

  • Auch Kaffeemaschinen waren anfangs schlechter als Baristas, wurden aber immer besser und sind heute in vielen Fällen überlegen. So beginnt Technik meist: als unvollkommene Bequemlichkeit, die sich dann verbessert
  • Nachdem ich gesehen habe, wie der Roboter Kleidung faltet, macht er es jetzt schon besser als ich
  • Kleidung zu falten ist selbst nur ein Kompromiss zwischen Ausgebreitet-Lassen und Aufhängen auf Kleiderbügeln

• Das Entwicklungstempo ist extrem hoch, und KI wird die Zukunft beherrschen. Ich glaube, wir kratzen erst an der Oberfläche dessen, was möglich ist, aber aus pessimistischer Sicht denke ich auch, dass Bill Joys Vorhersage vorausschauend war
  https://www.wired.com/2000/04/joy-2/

• Am meisten freue ich mich an der erwarteten KI-Zukunft auf die Automatisierung der Hausarbeit. In Asien sind Haushaltshilfen relativ günstig und leicht verfügbar, im Westen ist es dagegen fast Luxus, Reinigungskräfte oder Hausangestellte einzustellen. Ich verbringe jede Woche enorm viel Zeit damit, den Haushalt zu bewältigen, und warte auf den Tag, an dem ich diese Zeit zurückbekomme

  • Auch in Asien können die meisten Menschen Haushaltshilfen nicht günstig und einfach nutzen. So wirkt es nur, wenn man arme Menschen aus der Kategorie „die meisten“ ausschließt
  • Bei echter Haushaltsreinigung dürfte selbst ein Roboter, der weiter ist als ein Roomba, kaum günstiger als eine Haushaltshilfe sein
  • Ich frage mich, was man mit der Freizeit, die man so sehr zurückhaben will, dann machen würde

• Dass das Video ungeschnitten ist, macht es noch besser. Man kann beliebig Dinge nennen, die er nicht kann, etwa Treppen oder enge Türen, aber schon das, was bereits möglich ist, ist erstaunlich, und durch das Chat-Panel wirkt es auch interaktiver

• Es ist richtig, in Richtung nicht-humanoider Roboter zu entwerfen. Werkzeuge und Haushaltsgeräte werden sich künftig ebenfalls ändern, damit Menschen und Roboter sie gemeinsam nutzen können, und die Zuglasche am Reißverschluss einer Schuhtasche verlangt zu hohe Präzision

  • Es gibt inzwischen genug Belege dafür, dass diese Sicht falsch ist. Bis vor ein paar Monaten war das in der Robotik praktisch die Standardmeinung, aber noch bevor die Massenproduktion begonnen hat, sind die Preise humanoider Roboter stark gefallen
    Es ist wahrscheinlicher, dass Agilität, Akkulaufzeit und Kraft günstiger Humanoider durch massive Investitionen in das Lernen aus realen Aufgaben weiter verbessert werden, als dass Millionen Alltagsgegenstände passend zu den heutigen aufgabenspezifischen Robotern neu entworfen werden
  • Nicht-humanoide Roboter für langweilige Aufgaben sind schon heute weit verbreitet, etwa in der Unterwasserwartung. Nur weil sie ähnliche Arbeiten wie Menschen erledigen, müssen sie nicht menschenförmig sein
    Ich will Insektenschwärme zur Mückenbekämpfung, schlangenartige Roboter für Rohrreparaturen und spinnenartige Roboter zur Oberflächenreinigung
  • Wahrscheinlich ist es am besten, beide Ansätze zu mischen. Es gibt Dinge wie Türen, die bereits auf Hände und Füße ausgelegt sind, aber andere Greifformen oder zusätzliche Arme können hilfreich sein
  • Roboter müssen nicht wie Menschen aussehen; ein paar Arme, die Aufgaben sauber erledigen, reichen völlig aus

• In ein paar Jahren könnten Home Assistant und LLMs wohl den Haushalt koordinieren, während man außer Haus ist. Ein LLM könnte ein Inventar der Dinge im Haus erstellen und Staubsauger und Roboter losschicken, um aufzuräumen
  Ein multimodales LLM könnte Fotos analysieren, um Dinge für Geschirrspüler oder Waschmaschine von Gegenständen zu unterscheiden, die poliert werden müssen, und außerdem den Kleiderschrank organisieren, das Bett machen und sich um Pflanzen kümmern. Es könnte den ganzen Tag arbeiten, solange Solarpanels die Energie liefern

• Ich kümmere mich hauptberuflich um den Haushalt und will diesen Roboter wirklich. Ich hasse Wäsche zusammenlegen und schiebe es immer auf, daher würde es mir schon reichen, wenn er nur faltet, selbst ohne Funktion zum Einladen in die Waschmaschine