Mistral stellt Robostral Navigate vor, ein Roboternavigationsmodell mit nur einer Kamera

• Mistrals erstes 8B-Modell für embodied navigation, das Roboter nur mit einer RGB-Kamera und natürlichsprachlichen Anweisungen durch komplexe Umgebungen navigieren lässt
• Erreicht bei R2R-CE validation unseen eine Erfolgsrate von 76,6 % und übertrifft damit nicht nur Ansätze mit einer einzelnen Kamera, sondern auch die besten Systeme auf Basis von Depth-Sensoren und mehreren Kameras
• Nutzt einen Pointing-Ansatz, der die Bildkoordinaten des Ziels im aktuellen Bild sowie die Ausrichtung bei Ankunft vorhersagt; Ziele außerhalb des Sichtfelds werden durch Verschiebungsbefehle im lokalen Koordinatensystem des Roboters ersetzt
• Wurde intern entwickelt, ohne auf bestehende Open-Source-VLMs zurückzugreifen, und mit rund 400.000 Trajectories sowie 6.000 Scenes aus Simulationen trainiert
• Reduziert die Trainingstokens durch Prefix-Caching um den Faktor 22 und steigert die Erfolgsrate anschließend per CISPO Online Reinforcement Learning um weitere 3,2 %

---

Roboternavigation mit nur einer Kamera

• Robostral Navigate ist Mistrals erstes Modell für embodied navigation, das RGB-Bilder und natürlichsprachliche Anweisungen als Eingabe nutzt, damit ein Roboter eine Umgebung durchqueren kann
• Eine Beispielanweisung lautet etwa: „Verlasse die Lobby, gehe den Flur entlang, betritt den Vorratsraum, schaue zum zweiten Regal und halte an“
• Anders als Ansätze, die Depth-Sensoren, LiDAR oder mehrere Kameras kombinieren, verwendet dieses Modell nur eine gewöhnliche RGB-Kamera
• R2R-CE (Room-to-Room in Continuous Environments) validation unseen ist ein Benchmark, bei dem Roboter in nicht im Training enthaltenen Umgebungen Anweisungen folgen müssen
  • Robostral Navigate erreicht bei validation unseen eine Erfolgsrate von 76,6 %
  • Das sind 9,7 Punkte mehr als der beste Ansatz mit nur einer Kamera
  • Und 4,5 Punkte mehr als die besten Systeme mit Depth-Sensoren oder mehreren Kameras

Benchmark-Leistung und Roboterkompatibilität

• Das Modell ist dafür ausgelegt, Roboter autonom durch komplexe Räume wie Büros, Wohn- und Geschäftsgebäude sowie Außenbereiche navigieren zu lassen
• Mit einer einzigen Anweisung kann es in realen Umgebungen mit Menschen und Hindernissen die gesamte Aufgabe selbstständig ausführen
• Die wichtigsten Leistungsdaten und Betriebsbedingungen sind:
  • Erzielt State-of-the-Art-Leistung auf R2R-CE
  • Die Erfolgsrate bei validation seen beträgt 79,4 %
  • Die Erfolgsrate bei validation unseen beträgt 76,6 %
  • Funktioniert mit einer einzelnen RGB-Kamera, ohne LiDAR oder Depth-Sensor
  • Intern entwickeltes 8B-Modell, vollständig simulationsbasiert trainiert
  • Läuft auf Rad-, Lauf- und Flugrobotern und generalisiert über unterschiedliche Robotergrößen hinweg
  • Robust gegenüber Unterschieden bei den intrinsischen Kameraparametern
  • Nutzt tokeneffizientes Training durch Prefix-Caching

Pointing-basierte Navigation

• Robostral Navigate sagt auf Basis der Aufgabe und der Beobachtungshistorie per Pointing voraus, wohin sich der Roboter als Nächstes bewegen soll
• Vorhergesagt werden die Bildkoordinaten der Zielposition im aktuellen Kamerabild sowie die benötigte Ausrichtung bei Ankunft
• Im Gegensatz zu Befehlen, die auf metrischer Verschiebung beruhen, ist Pointing von Natur aus robust gegenüber Änderungen der intrinsischen Kameraparameter und des Maßstabs in der realen Welt
• Befindet sich die Zielposition außerhalb des aktuellen Sichtfelds, lässt sich dies mit Pointing allein nur schwer handhaben
  • In diesem Fall wird auf einen Verschiebungsbefehl im lokalen Koordinatensystem des Roboters ausgewichen
  • Ein Beispiel wäre: „Bewege dich 2 Meter nach vorn, 1,5 Meter nach links und drehe dich um 25 Grad nach links“

Intern entwickeltes Modell und Simulationsdaten

• Robostral Navigate wurde vollständig intern entwickelt, ohne auf bestehende Open-Source-VLMs zurückzugreifen
• Zur Initialisierung nutzt es Mistrals Vision-Language-Modell, das auf Grounding-Aufgaben wie Pointing, Counting und Object Localization spezialisiert ist
• Navigation ist eine Erweiterung dieser Grounding-Fähigkeiten: Das Modell versteht zunächst die Position von Objekten und lernt anschließend, wie es sich dorthin bewegt
• Die Pipeline zur Datengenerierung wurde vollständig innerhalb von Simulationen aufgebaut
  • Dadurch konnten Daten iterativ schnell verbessert werden
  • Der finale Datensatz besteht aus rund 400.000 Trajectories und 6.000 Scenes

Effizientes Training und Online Reinforcement Learning

• Ein Kernelement des Supervised Learning ist ein effizientes Trainingsverfahren auf Basis von Prefix-Caching
• Eine baumbasierte Attention-Masking-Strategie komprimiert eine gesamte Episode zu einer einzigen Sequence
  • Alle Time Steps können in einem einzigen Forward Pass trainiert werden
  • Informationslecks zwischen Time Steps werden verhindert
• Im Vergleich zu Training, das pro Time Step ein Sample verwendet, reduziert dies die Zahl der Trainingstokens um den Faktor 22, während das Trainingssignal erhalten bleibt
• Trainingsläufe, die in der Praxis Monate dauern würden, werden so zu Läufen, die in wenigen Tagen abgeschlossen sind
• Nach dem Supervised Learning wurde die Leistung mit dem CISPO-Algorithmus für Online Reinforcement Learning verbessert
  • Das Modell kann dadurch aus Versuch und Irrtum lernen, sich von Fehlschlägen erholen und exploratives Verhalten erwerben
  • Es mildert das Distribution-Shift-Problem von gewöhnlichem Behavior Cloning
  • Allein diese Phase verbessert die Erfolgsrate um 3,2 %
  • Da noch kein Plateau sichtbar ist, lassen sich die Werte durch weiteres Training und zusätzliche Experimente weiter steigern

Nächster Schritt zu einem integrierten embodied agent

• Robostral Navigate ist ein erster Schritt hin zu einem integrierten embodied agent
• Mistral betrachtet Navigation als grundlegende Fähigkeit für allgemeine Robotik
• Die Kombination aus groß angelegter Simulation, effizientem Training und starken Grounding-Priors zeigt, dass sich mit kompakten Modellen und einer einzelnen RGB-Kamera State-of-the-Art embodied navigation erreichen lässt
• Mistral baut sein Robotikteam aus und stellt Research Scientists sowie Engineers ein

[GN⁺]

Hacker-News-Meinungen

• Es heißt zwar „State-of-the-Art-Performance auf R2R-CE“, aber man sollte klarstellen, dass R2R-CE ein Benchmark ist, der aus einer Simulationsumgebung besteht.
  Diesen Benchmark zu schlagen, hat ungefähr denselben Aussagewert wie einen Roboter gut in Minecraft oder anderen Videospielen zu machen. Das ist beeindruckend, aber Roboter müssen in der physischen Realität funktionieren, nicht in digitalen Umgebungen.
  Die Leistung von Robotersystemen in der realen Welt zu bewerten, ist sehr schwierig. Wenn die Performance schlecht ist, braucht man außerdem viele Ersatzroboter, um die Evaluation überhaupt zu Ende zu bringen.
  Der Artikel enthält auch das obligatorische Demo-Video, in dem ein physischer Roboter mit doppelter Geschwindigkeit über glatte Böden und durch eine fast leere büroähnliche Umgebung fährt. Das ist mittlerweile fast schon ein Symbol für dieses Feld; Bonusabzug für die Szene am Ende, in der drei Personen vorsichtig den Weg des Roboters kreuzen.
  Aber das erinnert an den Hype um Aloha vor ein paar Jahren. Es ist gut, um ein Team von einem großen Tech-Unternehmen übernehmen zu lassen oder Geld für weitere Forschung an cooler Technik zu bekommen, reicht aber nicht aus, um daraus echten Fortschritt in Richtung eines Roboter-Hausmädchens/-Butlers für Zuhause oder Büro zu erwarten.

• Der Andeutung nach — und ich hoffe, dass es stimmt — scheint das Navigation ohne Karte zu sein. Falls ja, ist das beeindruckend.
  Wenn man eine vorab erfasste Karte der Umgebung hat, ist diese Aufgabe viel einfacher. Ohne Karte wäre es aber großartig.
  Früher gab es immer das „entführter Roboter“-Problem, bei dem ein Roboter sich keinen Zentimeter bewegen konnte, wenn er seine eigene Position nicht kannte. Hier sieht es so aus, als könne der Roboter Anweisungen ausführen, solange sie aus der aktuellen Sicht interpretierbar sind oder sich per Koppelnavigation verfolgen lassen.

  • Ich arbeite im Robotics-Team von Mistral, und ja, das ist ein kartenloser Ansatz. Die Eingaben sind nur ein Text-Prompt und das RGB-Bild der Frontkamera.
  • Löst modernes SLAM oder VSLAM dieses Problem nicht?
  • Kannst du erklären, warum es mit einer vorab erfassten Karte so viel einfacher wird, wenn man keinerlei Sensoren nutzt, keine echte Geometrie hat und im Grunde nur einige kürzliche Forward-Pass-Tokens?
  • Eine Art Explorationsknoten zu bauen, wäre sehr interessant. Also beim Herumfahren ein semantisches SLAM-Problem zu lösen.
    Wenn man die Anweisung gibt: „Finde den Aufzug auf dieser Etage“, könnte er dann herumfahren, eine Karte erstellen und sich so verhalten, wie ein Mensch einen Aufzug suchen würde?
    Aktuell scheinen solche Navigationsmodelle vorauszusetzen, dass der Verfasser der Anweisung nützliche visuelle Wegmarken sehr gut kennt, was für die meisten Use Cases nicht realistisch ist.

• Mich interessiert, auf welchem realistischen Weg man das tatsächlich ausprobieren könnte. Für Hobbyexperimente würde ich es gern an OpenClaw anschließen.
  Der Traum wäre, OpenClaw in einen Farmroboter einzubauen. Ich möchte einen kettengetriebenen RC-Rasenmäher für das Jäten an steilen Hängen umbauen und ihm Aufgaben geben wie: „Erkunde die Zaunlinie und mache Fotos von Pflanzen, finde alle Giftefeu- und invasiven Geißblattgewächse, besprühe sie mit einem Roundup-Sprühgerät, wiederhole das jede Woche, melde eine Karte der Artenverteilung und kehre bei niedrigem Akkustand zum Laden in die Scheune zurück.“
  OpenClaw in einen Roboterkörper einzubauen, ist nicht schwierig. Auf YouTube gibt es viele solche Videos. Aber wenn man sich ansieht, was Leute tatsächlich gebaut haben, ist der Fortbewegungsteil immer der klobigste — und bei meinen Experimenten war es genauso.
  Dieses 8B-Modell scheint ideal zu sein, um die Probleme von Routenplanung und Navigation zu lösen.
  Falls jemand mit Mistral oder ähnlichen Firmen besser vertraut ist, würde mich interessieren, ob sie auch an solchen Hobby-Maker-Experimenten Interesse haben. Oder suchen sie hauptsächlich kommerzielle Partner? Ich wäre bereit, Lizenzgebühren für Experimente zu zahlen, aber als Einzelperson machen sie vielleicht nicht mit, solange ich es nicht kommerzialisiere.

  • Wenn man damit einen Roboter wie OpenClaw bauen würde, wäre das cool, aber das aktuelle Modell scheint auf textbasiertes Gehen/Umgebungsverständnis ausgerichtet zu sein. Was könnte man verwenden, damit der Roboter mit der Welt interagiert?
  • Für alle, die sich das wie ich fragen, teile ich, was ich bisher herausgefunden habe. Ich bin auf den Mistral-Discord gegangen und habe den Miscord-Bot gefragt; er antwortete, dass die aktuellen offiziellen Ankündigungen und Dokumente hauptsächlich auf Unternehmens- und Industriepartnerschaften wie Airbus und BMW fokussiert sind.
    Trotzdem ist Robostral Navigate hardwareunabhängig konzipiert, lässt sich an jede Roboterplattform anbinden und benötigt nur eine einzelne RGB-Kamera, ohne LiDAR oder Tiefensensoren, sodass es theoretisch gut zu Hobby-Hardware passt.
    Es gibt noch keine öffentliche Hobby-/nichtkommerzielle Lizenz und kein Open-Source-Release, und auch Preise oder Lizenzstufen für Privatpersonen wurden nicht angekündigt. Was man derzeit tun kann, ist, Mistral AI direkt zu kontaktieren und klar zu fragen: „Ich bin ein Hobby-Maker, der private Experimente mit OpenClaw + Robostral Navigate macht, und möchte über eine nichtkommerzielle Lizenz sprechen.“
    Es ist auch sinnvoll, den Mistral-Discord oder die Foren im Blick zu behalten; falls keine Reaktion kommt, kann man auf ähnliche Funktionen aus Open-Source-Robotikprojekten wie ROS oder Habitat warten.

• Es scheint kein öffentliches Modell zu sein, aber falls es veröffentlicht wird, könnte Navigation mit einer einzelnen Kamera leicht nutzbar werden und viele coole Hobby-Roboterprojekte ermöglichen.

• Sehr cool. Glückwunsch an das Mistral-Team. Kartenlose Navigation im Freien gibt es schon seit recht langer Zeit, aber kartenlose Navigation innerhalb von Gebäuden ist vergleichsweise neu.
  Forscher von Stanford haben einmal PIGEON trainiert, ein visuelles Modell, das aus beliebigen Bildern den geografischen Standort errät. Wegen des enormen Missbrauchspotenzials für Privatsphäreverletzungen wie Stalking wurde es nicht veröffentlicht; hinter diesem Roboter scheint eine ähnliche Art von Technik zu stecken. Falls jemand mehr weiß, möge er mich gern korrigieren.
  Link zum PIGEON-Paper: https://lukashaas.github.io/PIGEON-CVPR24/

• Mistral scheint breit aufgestellt zu sein und zugleich Nischen anzugreifen. Das könnte künftig eine clevere Strategie sein.

  • Da sie stark in maßgeschneiderte Automatisierung für Industriepartner investieren, dürfte das eine willkommene Ergänzung ihres Werkzeugkastens sein.
  • Das kann durchaus eine sehr gute Strategie sein. Mit reiner Rechenleistung ist es schwer, Anthropic oder OpenAI einzuholen, aber es gibt sehr viele Anwendungen, die nicht so viel Power benötigen, und oft ist es besser, auf Geschwindigkeit und Energieeffizienz zu optimieren.
  • Weil sie statt durch Gewinnanreiz durch meine Steuern finanziert werden.

• Sehr minimalistisch, das ist beeindruckend.
  Einerseits erinnert es mich an Robotik-Demovideos, die akademische Forscher und Willow Garage um 2010 herum veröffentlicht haben.
  Das Problem der Robotik ist, dass es leicht ist, Demos zu bauen, die plausibel wirken, aber extrem schwer, sie im allgemeinen Fall zuverlässig funktionieren zu lassen. Autonomes Fahren ist ein gutes Beispiel dafür.

  • Bei Robotik geht es am Ende ausschließlich um Edge Cases. Es gibt bereits viele Anwendungen, bei denen Roboter 95 % der Aufgabe perfekt erledigen können, aber das reicht trotzdem nicht. Die letzten 5 % sind so breit gefächert, dass sie nahezu unmöglich zu schließen sind.

• Ich bin bereit, auf einen Haushalts-Hilfsroboter zu warten, der Abendessen macht, den Abwasch erledigt und den Müll rausbringt.
  Allerdings macht mir der Zeitpunkt Angst, an dem solche Helfer in Kriegen eingesetzt werden, ob für mich oder gegen mich.

  • Ehrlich gesagt sind viele Funktionen in Ordnung, aber Mainstream-Roboter sind schwer, und ich mache mir Sorgen, dass sie auf Kinder fallen könnten. Kinder sind aus Sicht einer Maschine unvorhersehbar, für die meisten Eltern aber bis zu einem gewissen Grad vorhersehbar.
    Die Abtastrate unserer Sensoren und die Schlussfolgerungsgeschwindigkeit unserer Intelligenz liegen um mehrere Größenordnungen vor den derzeit besten Robotern. Im Moment sind Menschen viel feinfühliger und fähiger.
    Ich hoffe, dass ausreichend leichte Geräte möglich werden, aber angesichts der Gewichtsanforderungen von Batterien ist mir nicht klar, wie das gehen soll.
  • Letzteres wird vermutlich deutlich früher kommen als Ersteres.
  • Vielleicht sollte man sogar erleichtert sein, wenn statt Menschen, die von Drohnen in die Luft gejagt werden, Roboter geschickt werden.
  • Auf Ersteres werden wir wohl ziemlich lange warten müssen. Es sei denn, es ist einem recht, dass jedes Mal, wenn der Roboter durcheinanderkommt, ein Fremder per Fernsteuerung durch die eigene Wohnung fährt.
  • Ein intelligenter humanoider Roboter in jedem Haushalt – was könnte da schon schiefgehen? Wahrscheinlich eine der schlechtesten Ideen überhaupt.

• Es heißt, es erreiche 76,6 % bei „R2R-CE (Room-to-Room in Continuous Environments)“. Ich frage mich, was es während der übrigen 23,4 % gemacht hat.

  • Das größte Problem dürfte so etwas sein wie: Man sagt „geh ins nächste Zimmer“, aber es gibt zwei Türen, oder „bieg beim Wasserspender ab“, aber dort steht ein Waschbecken. Natürlich sind, wie immer, die letzten 1 % noch einmal so schwierig wie weitere 99 %.
    Wenn man sich auf der Seite mit den Ergebnisdiagrammen die Navigationsfehler ansieht, findet man die für diese Frage relevanteste Kennzahl. Das Modell ist gut darin, „nicht in die falsche Richtung zu gehen“, daher waren die Fehlschläge vermutlich Fälle, in denen es den Weg nicht finden konnte.
  • Wahrscheinlich ist es nicht im anderen Zimmer angekommen.

• Das ist wirklich cool. Dass der Roboter die Richtung, in die man mit dem Finger zeigt, nutzen kann, um zu entscheiden, wohin er gehen soll, ist eine hervorragende Designentscheidung, und Robotik ist wirklich die nächste Frontier. Damit drücke ich Mistral definitiv die Daumen.