Gemini Robotics 2 bringt Ganzkörperintelligenz für Roboter

• Google DeepMind hat die Modellfamilie Gemini Robotics 2 vorgestellt, die visuelle und sprachliche Eingaben in Aktionen umwandelt, Humanoide von den Füßen bis zu den Fingerspitzen steuert und präzise Manipulation sowie Zusammenarbeit zwischen Robotern unterstützt
• Die Modellfamilie besteht aus Gemini Robotics 2 als VLA für Ganzkörpersteuerung, Gemini Robotics ER 2 für Planung und Überwachung langfristiger Aufgaben sowie Gemini Robotics On-Device 2 für die lokale Ausführung auf Robotern
• Humanoide können Gehen, Bücken und das Tragen von Objekten verknüpfen, mit einer fünffingrigen Hand mit 22 Freiheitsgraden Knoten binden oder Zip-Beutel verschließen, und mehrere Roboter können bei Aufgaben kooperieren, die einzeln schwer zu bewältigen sind
• On-Device 2 läuft ohne Netzwerkverbindung und lässt sich typischerweise mit weniger als 200 Beispielen und nur wenigen Stunden Anpassung auf neue Dual-Arm-Roboter mit stark abweichender Form, Sensorik und Freiheitsgraden übertragen
• ER 2 ist als Private Preview in Google AI Studio und auf der Gemini Enterprise Agent Platform verfügbar; die VLA- und On-Device-Modelle stehen Early-Access-Partnern offen, aber Bewegungsgeschwindigkeit und Präzision müssen weiterhin verbessert werden

---

Drei Robotermodelle mit unterschiedlichen Rollen

• Bisherige Roboter wurden meist für enge, repetitive Arbeitsabläufe vorprogrammiert oder per Teleoperation gesteuert, weshalb sie sich nur schwer selbstständig an unvorhersehbare Umgebungen anpassen oder Fähigkeiten von einem Robotertyp auf einen anderen übertragen können
• Gemini Robotics 2 ist ein Vision-Language-Action-Modell (VLA), das visuelle und sprachliche Eingaben in Motorsteuerung umwandelt
  • Steuert sowohl den gesamten Humanoiden als auch Dual-Arm-Roboter
  • Unterstützt präzise Manipulation mit beiden Händen und Greifern
• Gemini Robotics ER 2 ist ein Embodied-Reasoning-Modell (ER), das die Agentenrolle des Roboters übernimmt
  • Kommuniziert mit Menschen und versteht die physische Umgebung
  • Plant mehrstufige Aufgaben, die sich über Minuten erstrecken
  • Unterstützt Teamarbeit mehrerer Roboter
• Gemini Robotics On-Device 2 ist ein effizientes VLA, das für die lokale Ausführung direkt auf dem Roboter optimiert wurde
  • Kann sich mit nur wenigen Stunden Daten an völlig neue Roboterformen anpassen
• Der Verfügbarkeitsumfang unterscheidet sich je nach Modell
  • ER 2 ist in Google AI Studio nutzbar und wird auf der Gemini Enterprise Agent Platform als Private Preview angeboten
  • Die VLA- und On-Device-Modelle werden Early-Access-Partnern bereitgestellt
  • Wie die Hardware-Anbindung erfolgt, beschreibt der Developer blog

Ganzkörpersteuerung für Humanoide über den Oberkörper hinaus

• Während sich das vorherige Modell auf die Steuerung des humanoiden Oberkörpers für Tischaufgaben konzentrierte, erweitert Gemini Robotics 2 den Steuerungsbereich auf Ganzkörperbewegungen
• Apptronik Apollo 2 kann die Anweisung „Stell die Gießkanne in die grüne Kiste im unteren Regal“ ausführen
  • Geht zum Tisch und greift die Gießkanne
  • Bewegt sich zum Regal und stellt sie präzise an der vorgegebenen Stelle ab
• Es verknüpft Gehen, Bücken, Balancieren und Objektmanipulation, um Aufgaben in engen und unaufgeräumten Räumen auszuführen, doch die Bewegungsgeschwindigkeit muss weiter verbessert werden

Präzise Manipulation mit Händen und Greifern

• Steuert die fünf Finger und 22 Freiheitsgrade der an Apollo 2 montierten SharpaWave-Hand
  • Führt feinmotorische Bewegungen wie das Binden eines Knotens aus
  • Kann einen Zip-Beutel verschließen
• Bewältigt auch komplexe Aufgaben wie das dichte Verpacken von Gegenständen mit dem standardmäßigen 2-Finger-Parallelgreifer von Franka Duo
• Um menschliches Geschick zu erreichen, müssen Präzision und Geschwindigkeit weiter gesteigert werden

Langfristiges Aufgabenverständnis und Multi-Roboter-Kollaboration

• Gemini Robotics ER 2 dient als übergeordnetes Gehirn des Roboters, verarbeitet Benutzeranweisungen und kommuniziert mit Menschen
  • Beobachtet den Raum und leitet die nötigen Schritte ab
  • Koordiniert mit dem VLA die tatsächlichen Aktionen
  • Verfolgt den Fortschritt bis zum Abschluss
• Wenn bei der Ausführung komplexer mehrstufiger Aufgaben ein Schritt fehlschlägt, kann es sich selbst korrigieren und auf neue Situationen und Ziele generalisieren
• Es trifft in einer einzigen Aufgabe Hunderte von Entscheidungen und verarbeitet Arbeitsabläufe, die sich über Minuten erstrecken, stabiler als zuvor
• Es versteht Beginn und Ende einer Aufgabe und identifiziert den Zeitpunkt zentraler Ereignisse, um den Fortschrittsstatus nachzuverfolgen
• Durch Kommunikation und Zusammenarbeit verschiedener Robotertypen lassen sich komplexe Arbeitsabläufe bewältigen, die für einen einzelnen Roboter nur schwer ausführbar sind

Schnelle Anpassung an neue Roboterformen

• Gemini Robotics On-Device 2 wird lokal ausgeführt auf dem Roboter für Umgebungen, in denen ohne Netzwerklatenz oder Internetverbindung gearbeitet werden muss
• Es unterstützt mehrere Roboterformen nativ und übernimmt die Motion-Transfer-Technik von Gemini Robotics 1.5
• Typischerweise lässt es sich mit weniger als 200 Beispielen und nur wenigen Stunden Anpassung auf neue Dual-Arm-Roboter anwenden
• Es passt sich auch an Roboter mit stark unterschiedlichem Aufbau, Sensoren und Freiheitsgraden an und erledigt verschiedene Aufgaben auf den Plattformen Dexmate, SO101 und Trossen

Robotersicherheit auch unter Unsicherheit

• Mit den wachsenden physischen Fähigkeiten von Robotern kommt ein mehrschichtiger Sicherheitsansatz zum Einsatz, der klassische physische Schutzmaßnahmen mit AI-Sicherheitsframeworks kombiniert
• ASIMOV-Agentic ist ein neuer Benchmark zur Bewertung von Agentensicherheits-Koordination und dem Umgang mit Unsicherheit
  • Misst, ob ein Embodied-Reasoning-Agent unsichere vom VLA angeforderte Tool-Aufrufe ablehnen kann
  • Bewertet, ob die Ausführbarkeit einer Aufgabe korrekt vorhergesagt wird und bei Unsicherheit proaktiv menschliches Eingreifen angefordert wird
• Gemini Robotics ER 2 zeigt bei der Einhaltung von Sicherheitsbeschränkungen und bei Benchmarks zur Menschennähe die sicherste Leistung unter den bisherigen Robotermodellen von Google DeepMind
  • Erkennt Menschen in der Umgebung besser
  • Ruft Sicherheits-Tools auf und stoppt den Roboter sicher, wenn sich Menschen zu stark nähern
  • Eine Fähigkeit, die von kollaborativen Sicherheitsstandards für die Arbeit mit Menschen gefordert wird
• Detaillierte Bewertungen finden sich im Gemini Robotics 2: Safety Technical Report
• Ziel ist der Aufbau der Kernintelligenz für allgemeine physische AI, die über die Automatisierung einzelner Aufgaben hinaus gemeinsam mit Menschen komplexe Probleme löst

[GN⁺]

Meinungen auf Hacker News

• Als DeepMind-Forscher, der an der Entwicklung dieses Modells beteiligt war: DeepMind ist ein guter Arbeitsplatz. Es ist eines der wenigen einzigartigen Forschungslabore, in denen man zwischen fast allen Bereichen rund um Intelligenz wechseln kann – Gemini/Gemma, Robotik, Wissenschaften wie Wetter und Biologie – und es gibt viele großartige Kolleginnen und Kollegen. Ein Beitritt ist also durchaus eine Überlegung wert

  • Mich würde interessieren, worin sich die Entwicklung von Frontier-Modellen und die Entwicklung offener Modelle konkret unterscheiden. Offene Modelle sind in der Regel kleiner und stärker auf Sicherheit geprüft, aber im Kern ähnlich; ich vermute, dass die meiste allgemeine KI-Forschung auf beide Seiten anwendbar ist
  • Ich frage mich ernsthaft, wie Missbrauch durch Regierungen, Unternehmen und Militär verhindert wird. Ich würde auch gern wissen, wie sehr diese Technologie dazu genutzt wird, das Leben normaler Menschen zu verbessern, und wie sehr dazu, Überwachung und Kontrolle auszubauen
  • Die Formulierung „einziges Forschungslabor“ ist übertrieben. Auch das Allen Institute for AI (AI2) deckt die meisten Bereiche ab, wenn auch weniger auf Frontier-Niveau; außerdem sind die 152 Mio. US-Dollar Förderung der NSF und die Zusammenarbeit mit Nvidia vielversprechend. In der Robotik gibt es MolmoBot, MolmoSpaces, MolmoAct usw.: https://allenai.org/embodied-ai
  • Als Executive Director der AGI Society, die seit 2007 die AGI Conference ausrichtet, möchte ich dich einladen, deine Forschung bei der Veranstaltung im nächsten Jahr vorzustellen. Dieses Jahr war der Vortrag von Alexander Lerchner hervorragend; wenn du mir deine bevorzugte E-Mail-Adresse nennst, melde ich mich

• Anthropic und OpenAI bekommen 80 % der Aufmerksamkeit, aber die Bandbreite, die Google abdeckt – von Frontier-tauglichen, schnellen Modellen mit offenen Gewichten bis hin zu Bild-, Video- und Musikgenerierung sowie Robotik – ist beeindruckend

  • Google wirkt wie ein still und kompetent arbeitendes Unternehmen an vorderster Front vieler neuer Technologien, während die neuesten Chatbots von OpenAI und Anthropic übertriebene Berichte wie „KI außer Kontrolle“ oder „zu gefährlich, muss verboten werden“ bekommen. Dieser Hype-Zyklus stützt die absurden Bewertungen der neuen Wettbewerber
  • Google DeepMind entwickelt neue Konzepte an der KI-Front, während andere ein paar Prozentpunkte bei Benchmark-Scores hinterherjagen
  • Auch Protein-Folding-Forschung und der Nobelpreis dürfen nicht fehlen

• Die Bewegungen des Roboters sind langsam und nicht geschmeidig, aber auch das frühe ChatGPT wirkte sehr träge. Wenn sich das so schnell wie LLMs weiterentwickelt, könnte der Einsatzbereich in wenigen Jahren enorm wachsen

  • Bei Hausarbeit ist es egal, wenn sie länger dauert als bei einem Menschen. Es reicht, wenn die Reinigung vor Feierabend fertig ist
  • Von GPT-2 zu GPT-3 und von Gemini Robotics 1 zu 2 vergingen jeweils 15 Monate, aber Ersteres war ein enormer Sprung, während Letzteres sich kaum verändert hat: https://blog.google/products-and-platforms/products/gemini/h...
    Langsame, statische Roboterbewegungen und schnelle, flexible Bewegungen sind vom Schwierigkeitsgrad her völlig verschieden. Bei schnellen Bewegungen müssen Rotations­trägheit mehrerer Gelenke und Massen sowie Gleichgewichtsänderungen hunderte bis tausende Male pro Sekunde berechnet werden. Ein T-Shirt im Stillstand mit 90 % Wahrscheinlichkeit zu falten ist leicht, aber 99 % Erfolgsquote oder schnelles Falten ist unglaublich komplex
  • Das ist das erste Promo-Video, das auch in Echtzeit plausibel wirkt. Unklar ist allerdings, ob die in anderem Material genannten Erfolgsraten von 50–75 % sich auf den ersten Versuch oder den finalen Erfolg beziehen
  • Dass Google Moravecs Paradox frontal angeht, ist ziemlich mutig: https://en.wikipedia.org/wiki/Moravec%27s_paradox
  • Die Bewegungen sind zwar geschmeidig, aber langsam, vermutlich aus Sicherheitsgründen. Roboter mit starken Motoren können Menschen tatsächlich verletzen, deshalb arbeiten auch Industrieroboter hinter Sicherheitszäunen
    Man sollte nicht erwarten, dass sie inverse Kinematik wie digitale Puppen einfach direkt nachahmen. Wenn das Optimierungsziel ein geringerer Energieverbrauch ist, können die Bewegungen eines mehrgelenkigen elektrischen Arms etwas seltsam aussehen

• Bei humanoiden Robotern habe ich wegen der Grenzen der Aktuatoren die Erwartungen aufgegeben. Seit Honda ASIMO gab es kaum Innovation, und ich glaube nicht, dass jemand einen 80 kg schweren, schwankenden Metallklotz zu Hause oder am Arbeitsplatz haben will
  Die finale Roboterrevolution könnte auch auf genetisch veränderte Menschen- oder Tierkörper setzen, bei denen das Gehirn ersetzt wurde. Ein Bär, der so verändert wurde, dass er kein Bewusstsein hat, und per Neuralink und LLM gesteuert wird, wäre meiner Ansicht nach besser als Bauarbeiter geeignet; schnelle Tiere für Lieferungen, Giraffen für Lagerhäuser

  • Giraffen sind nur groß, können aber kaum Gewicht tragen, daher ist ihr Nutzen im Lager fraglich. Auch die Behauptung, es habe keine Innovation bei Aktuatoren gegeben, fällt mir schwer zu glauben; die Aktuatoren des MIT Cheetah unterscheiden sich in Rücktreibbarkeit und variabler Steifigkeit völlig von ASIMO, und es gibt auch viel Forschung zur Kombination elastischer Elemente
  • Cortical Labs forscht in diesem Bereich und hatte zeitweise auch eine Doom-Demo veröffentlicht. Biologische Formen sind universell einsetzbar, aber für viele Aufgaben sind metallische robuster; Gehirne haben geringe Bandbreite und hohe Latenz, daher sind Siliziumchips fürs Inferenzieren im Vorteil
    Angesichts interessanter Arbeiten im 3D-Druck dachte ich, dass auch Aktuatoren große Fortschritte machen; deshalb würde ich gern mehr darüber wissen, warum sie zurückliegen sollen
  • Ich kann überhaupt nicht zustimmen, dass sich Aktuatoren nicht weiterentwickelt haben. Seit Ben Katz’ Arbeit am MIT Mini Cheetah haben sich Drehmomentdichte und Preis stark verbessert, und die darauf basierenden Unitree-G1-Aktuatoren sind klein, aber stark und kommen einem quasi-direkten Antrieb nahe. Auch die BD-E-Atlas-Motoren wirken trotz vollständig passiver Kühlung bei der Drehmomentdichte gut, und so schnell wie jetzt hat sich das Feld noch nie entwickelt
  • Eine solche Zukunft wäre schrecklich, scheint aber wegen der technischen Schwierigkeit und der Hürden für Versuchsgenehmigungen noch sehr weit entfernt. Allerdings stimme ich zu, dass die humanoide Form eine Sackgasse ist
    Man sollte einfach eine große Box bauen, die wie eine Spülmaschine Eingaben verarbeitet und Ergebnisse liefert. Statt menschliche Hände nachzuahmen, wäre es viel effizienter, ein Gerät zum Falten von Kleidung als Pendant zu Waschmaschine und Trockner oder eine integrierte Roboterküche zu bauen
  • Biologische Körper umzubauen wirkt um Größenordnungen schwieriger als humanoide Roboter zu bauen. Wir schaffen es ja noch nicht einmal, Burger ohne Kühe zu einem marktfähigen Preis herzustellen

• Es braucht jemanden, der das tatsächliche Niveau dieser Technologie ehrlich einschätzen kann. Interessant wären die nötige Messtechnik, die Qualität der Interaktion und die Leistung bei unstrukturierten Alltagsaufgaben wie Türklinken drehen, Stürze abfangen bzw. sich davon erholen und Kollisionen vermeiden.

  • Ich arbeite in diesem Bereich und habe meine Bachelorarbeit über Vision-Language-Action-Modelle (VLA) geschrieben, also im Grunde ChatGPT an einem Roboterarm. Das ist noch nicht praxistauglich; bei Montagebauteilen gibt es teils nicht einmal eindeutige Bezeichnungen, sodass Roboter vage Anweisungen, die Menschen verstehen würden, möglicherweise nicht verarbeiten können.
    Verlässliche Daten zur Genauigkeit fehlen ebenfalls, Benchmarks wie LIBERO sind mit fast durchgehend 95 % praktisch gesättigt, und jedes Unternehmen bzw. jede Forschungsgruppe nutzt eigene Bewertungen. Viele Firmen fälschen Demos oder lassen Roboter gefährlich nahe an Menschen arbeiten.
    Schwieriger als Türklinken oder Sturz-Recovery ist in der Fertigung, Ziegel oder Bauteile exakt auszurichten. Statt komplexer Humanoiden mit vielen zu verwaltenden Gelenken scheinen Roboterarme auf Rädern wie Mobile ALOHA besser geeignet, etwa zum Aufräumen von Hotelzimmern oder für standardisierte Kochaufgaben in Restaurants.
  • Es ist noch auf GPT-1-Niveau, aber es fühlt sich so an, als stünde der GPT-2-Moment kurz bevor.
  • Der echte Prüfstein ist, ob Startups, die Haushaltsroboter als Service verkaufen, tatsächlich wiederkehrende Nutzer gewinnen. Ich habe beruflich mehrere Roboterprototypen gebaut; die Fortschritte sind eindeutig, aber bis normale Verbraucher sie zuverlässig für Hausarbeiten nutzen können, ist es noch ein sehr weiter Weg.
    Wie in https://rodneybrooks.com/why-todays-humanoids-wont-learn-dex... argumentiert wird, ist Geschicklichkeit auch ein Hardwareproblem, und ein Greifer ist keine Hand. Selbst die Manipulation mit mehrfingrigen Händen ist weiterhin schwierig, und auch die Sensorik reicht nicht aus.
  • In der Robotikbranche gibt es sehr viel Augenwischerei: aufwendig inszenierte Videos nur für bestimmte Demos und sogar Betrug, bei dem angeblich autonome Systeme in Wirklichkeit ferngesteuert werden. Auch Roboterhunde oder unbemannte Bodenfahrzeuge sind entgegen dem Hype oft wenig praxistauglich.
    Robotik ist, abgesehen vom Bereich der Cobots, eine Nischenindustrie; die Ausnahme sind Drohnen, die großes Potenzial haben, sobald nur das Problem der Flugzeit gelöst ist. Humanoide sind noch weit davon entfernt, in realen Umgebungen nützlich zu sein, und die meisten unbemannten Bodenfahrzeuge können auf Treppen nicht einmal rückwärtsfahren.

• AI Robotics ist die eigentliche Revolution. Heute brauchen Kapitalbesitzer menschliche Arbeit, um mehr Kapital zu gewinnen; sobald die Inferenzkosten von Robotern niedriger sind als Arbeitskosten, wird menschliche Arbeit nicht mehr benötigt. KI wirkt sich zwar auch auf nicht-körperliche Arbeit aus, aber ein erheblicher Teil der Weltbevölkerung leistet körperliche Arbeit.

  • Wenn man alle Kosten außer der Inferenz ausblendet und diesen Endzustand akzeptiert, wäre es sehr gut, falls Kapital demokratisiert wird; bleibt es jedoch weiter in den Händen weniger konzentriert, führt das zu einem nahezu apokalyptischen Ergebnis.
  • Es geht nicht nur um Inferenzkosten. Der Schaden, wenn in der realen Welt Gegenstände oder Lebewesen falsch gehandhabt werden, ist völlig anders als bei immateriellen Anwendungen; daher könnten Failsafes und unabhängige Begrenzungen nötig sein.
  • Ich frage mich, ob diese Veränderung wirklich gut ist.

• Als 47-jähriger Mann ohne Kinder hoffe ich darauf, im Alter möglicherweise Unterstützung durch Pflegeroboter zu bekommen.

  • Es ist erstaunlich, dass die Chance größer geworden ist, zu Lebzeiten Droiden wie in Star Wars zu sehen, aber alle scheinen das als völlig normal hinzunehmen.
  • Als jemand in den 50ern mit Eltern in den 80ern wäre das schon jetzt äußerst nützlich. Viele Freunde in meinem Umfeld sind in einer ähnlichen Lage.

• Viele Hausarbeiten lassen sich ohne Humanoide automatisieren. Roomba reinigt den Boden, und man könnte in Häuser automatische Systeme für Müllentsorgung sowie Annahme, Sortierung und Lagerung von Lebensmitteln einbauen.
  Humanoide sind unheimlich und schwer zu vertrauen. Ich frage mich, ob man ruhig schlafen könnte, wenn so ein Roboter im Haus ist, selbst in Situationen, in denen man den politischen Ansichten seines Herstellers widerspricht.

  • In bestehenden Wohnungen, Reihenhäusern und Doppelhaushälften lassen sich solche Anlagen praktisch nicht nachrüsten, und selbst bei neuen Einfamilienhäusern sind sie eine teure Lösung. Da die bestehende menschliche Umgebung auf Humanoide ausgelegt ist, ist die humanoide Form nützlich.
  • Ein Roomba reinigt nur 80–90 % des Bodens und auch nicht so sauber wie ein echter Staubsauger. Wenn man noch das Wegräumen von Hundespielzeug und das Leeren des Staubbehälters einrechnet, sind es real eher 60 %; um 100 % zu erledigen, braucht es einen vollständigen Menschenkörper.
  • Es sollte gar keine Situation geben, in der man einem Roboter vertrauen muss. Wenn ein Roomba oder eine Spülmaschine eine Fehlfunktion hat, kann sie keine Finger abschneiden und auch nicht lauschen oder überwachen; genau das sind gute Roboter.

• Ich frage mich, warum man auf einer endlichen Erde zusätzlich zu immer mehr Menschen auch noch Roboterkörper hinzufügen will. Rechenzentrums-KI konkurriert zumindest nicht physisch Schulter an Schulter mit mir; ich verstehe nicht, warum man trotz vorhandener Menschen hoch entwickelte Roboter haben möchte.

  • Es gibt viele Anzeichen dafür, dass die grenzenlose Expansion der Menschheit zum Stillstand kommt. Der offensichtliche Grund für hoch entwickelte Roboter ist, ihnen Arbeiten zu übertragen, die einem den Rücken ruinieren, schmutzig, gefährlich oder langweilig sind — also Arbeiten, die Menschen nicht machen wollen.

• Wenn man für die Robotersteuerung ein komplettes LLM einsetzt, ist das zu schwergewichtig; selbst mit leistungsstarken GPUs dürfte die minimale Latenz bei 1–2 Sekunden liegen und für praktische Roboter ungeeignet sein.
  Maschinelles Sehen sollte durch Machine Learning erledigt werden, die Bewegungssteuerung aber durch klassische PID-basierte lineare und nichtlineare Regelung; wenn man ein komplettes LLM als Controller verwendet, stößt man wohl an Hardwaregrenzen.

  • Das Latenzproblem besteht derzeit, aber es gibt viel Spielraum für Inferenzoptimierung, sodass sich das in naher Zukunft wahrscheinlich ändern wird. Analyse- und optimierungsbasierte Regelung wie PID stagniert seit Jahrzehnten, während End-to-End-Steuerung bei der Energieeffizienz des Gehens und der Robustheit — etwa nicht umzufallen, wenn man auf einen Laubhaufen tritt — hervorragende Ergebnisse gezeigt hat und sich zudem viel einfacher auf neue Roboter übertragen lässt.
    Unternehmen wie Physical Intelligence erzielen auch mit hierarchischen Architekturen, die schnelle und langsame Ebenen kombinieren, gute Ergebnisse, um Intelligenz und Latenz gemeinsam anzugehen.
  • Nvidia lässt auf seinen Chips ein VLA mit 2 Milliarden Parametern bei 10 Hz laufen; meines Wissens funktioniert auch das veröffentlichte Modell mit 500 Millionen Parametern bei 10 Hz.