RoboCat – selbstverbessernder Roboter-Agent

• Google DeepMind stellt RoboCat vor, das über einen Roboterarm verschiedene Aufgaben ausführt und dabei selbstständig lernt.
• Es basiert auf Gato (spanisch für „Katze“), einem multimodalen Modell, das sowohl in realen als auch in simulierten Umgebungen arbeiten kann.
  • Zur Selbstverbesserung sammelt es zunächst reale Daten für neue Aufgaben.
  • Auf Basis dieser realen Daten wird das Grundmodell feinabgestimmt, um einen Spin-off-Agenten zu erzeugen.
  • Der neue Agent übt etwa 10.000 Mal und erstellt dabei einen Trainingsdatensatz.
  • Reale Daten und selbst erzeugte Daten werden in den Trainingsdatensatz von RoboCat integriert.
  • Eine neue Version von RoboCat wird trainiert.
• Dadurch kann es sich innerhalb weniger Stunden an neue Roboterarme mit mehr Gelenken oder mehr Greifern anpassen.
• Außerdem entsteht ein positiver Trainingskreislauf: Das Anfangsmodell, das bei bestimmten Aufgaben eine Erfolgsquote von 36 % zeigte, verbessert sich auf mehr als das Doppelte auf bis zu 74 %.

[nicewook]

Endlich eröffnet sich ein Feld, in dem künstliche Intelligenz der realen Welt begegnet und sie erfährt.

[kuroneko]

• Paper
• HN-Thread

Die Kommentare im HN-Thread sind wirklich lustig.
Ich hatte genau denselben Gedanken und dachte: Bin ich der Einzige, der eine Roboterkatze erwartet hat? Irgendwie bin ich etwas enttäuscht ...

Man hätte wenigstens einen Katzensticker auf den Roboterarm kleben können.

[kuroneko]

Wenn man das Paper zusammenfasst, ergibt sich Folgendes.

RoboCat ist ein auf Selbstverbesserung basierender Agent für die Robotermanipulation. Er wird mit einem großen und vielfältigen Datensatz von Roboteraufgaben trainiert, der aus mehreren Simulationen und realen Roboterarmen stammt.

Die Hauptziele von RoboCat sind wie folgt.

1. Generalisierung auf neue Aufgaben und Roboter mit minimalen Daten. RoboCat kann sich mit nur 100 bis 1000 Demonstrationsbeispielen an neue Aufgaben und Roboter anpassen.
2. Selbstverbesserung durch einen iterativen Prozess. Das feinabgestimmte RoboCat-Modell wird verwendet, um mehr Trainingsdaten zu erzeugen, und diese Daten werden dem Trainingssatz hinzugefügt, um den allgemeinen Agenten zu verbessern.
3. Umgang mit mehreren Ausprägungen mit unterschiedlichen Aufgaben und Beobachtungsräumen. RoboCat wird an Armen mit bis zu 14 Freiheitsgraden und unterschiedlichen Greifern getestet.
4. Lösung verschiedener geschickter Manipulationsaufgaben mit Objekten unterschiedlicher Form, Größe und Textur. Zu den Aufgaben gehören Stapeln, Einsetzen und Anheben.

Die wichtigsten Ergebnisse sind wie folgt.

• Mit zunehmender Größe und Vielfalt der Trainingsdaten von RoboCat verbessert sich der Transfer zwischen Aufgaben, und die Anpassung an neue Aufgaben wird effizienter.
• RoboCat kann sich mit nur einer kleinen Menge an Demonstrationsdaten erfolgreich an neue Aufgaben und Roboter anpassen und benötigt im Vergleich zu Baselines weniger Lernaufwand.
• Durch die Erweiterung der Trainingsdaten mittels Selbstverbesserung erzielt RoboCat auch bei den ursprünglichen Trainingsaufgaben bessere Leistung und wird feinabgestimmt.

Zusammengefasst zeigt RoboCat, ein auf Selbstverbesserung basierender Agent für die Robotermanipulation, der mit einem großen und vielfältigen Datensatz trainiert wurde, dass er sich durch Fine-Tuning und Selbstverbesserung mit minimalen Daten auf neue Aufgaben und Roboter generalisieren kann. Seine Fähigkeit, in großem Maßstab heterogene Robotik-Erfahrungen zu nutzen, hat das Potenzial, das Robot Learning grundlegend zu verändern.