OK-Robot: Offenes modulares Home-Robotics-Framework für Pick-and-Drop überall
(ok-robot.github.io)- OK-Robot ist ein offenes modulares Robotik-Framework, das Pick-and-Drop-Aufgaben in neuen Wohnumgebungen per Zero-Shot nur anhand sprachlicher Anweisungen ausführen soll, indem es Objekte findet, greift und umsetzt
- Es kombiniert Vision-Language-Modelle (VLMs), Navigationsprimitiven und Greifprimitiven, um ohne zusätzliches Training Objekterkennung, Bewegung und Manipulation zu einer durchgängigen Kette zu verbinden
- In 10 realen Haushalten in New York City wurden 171 Aufgaben evaluiert; in vollständig neuen Wohnungen erreichte das System eine Erfolgsquote von 58,5 %
- In sauberen und wenig unordentlichen Umgebungen stieg die Erfolgsquote auf 82 %, und bei Open Vocabulary Mobile Manipulation (OVMM) lag die Leistung bei etwa dem 1,8-Fachen früherer Arbeiten
- Die wichtigsten Fehlschläge traten bei der Objektsuche, schwierigen Manipulationsposen und Hardwareproblemen auf, was zeigt, dass die feine Integration offener Wissensmodelle und Robotikmodule entscheidend für die Leistung ist
Aufbau und Ziel des Frameworks
- OK-Robot ist ein offenes modulares Framework für Zero-Shot-, sprachkonditionierte Pick-and-Drop-Aufgaben in beliebigen Haushalten
- Das System kombiniert drei Komponenten
- Vision-Language-Modell (VLM): objekterkennung auf Basis sprachlicher Abfragen
- Navigationsprimitive: Steuerung der Bewegung des mobilen Systems
- Greifprimitive: Manipulation unterschiedlicher Objekte
- Ohne separate Trainingsphase integriert es Objekterkennung, Fortbewegung und Greifen und verfolgt damit einen systemorientierten Ansatz für reale Haushaltsaufgaben
- Projektmaterialien:
Evaluation in realen Haushalten und Ursachen für Fehlschläge
- In 10 Haushaltsumgebungen in New York City wurden 171 Pick-and-Drop-Aufgaben versucht
- Die Erfolgsquote in vollständig neuen Wohnungen lag bei 58,5 % und zeigte bei Open Vocabulary Mobile Manipulation (OVMM) eine etwa 1,8-fach bessere Leistung als frühere Arbeiten
- Erfolgsquote: {p:58}
- In saubereren und weniger unordentlichen Umgebungen stieg die Erfolgsquote auf 82 %
- Erfolgsquote in aufgeräumten Umgebungen: {p:82}
- Die Fehlerursachen sind Long-Tail-artig verteilt; die drei größten Ursachen sind:
- Das korrekte zu bewegende Objekt wird im semantischen Speicher nicht gefunden: 9,3 %
- Das Manipulationsmodul erhält eine schwierige Pose: 8,0 %
- Hardwareprobleme: 7,5 %
- Bei der Kombination offener Wissenssysteme wie VLMs mit Robotikmodulen müssen nicht nur die Modellleistung, sondern auch Objektspeicher, Manipulationspose und Hardwarestabilität zusammenspielen
3 Kommentare
https://hello-robot.com/purchase
Das Gerät selbst kostet 25.000 Dollar ...
Zusätzlich wird ein iPhone Pro benötigt.
Die Docking-Ladestation kostet 995 Dollar, lol
Ist das ein Preis, mit dem man leichtgläubige Käufer abzockt?
Warum ist die Dockingstation eigentlich wirklich so teuer?
Auch die Verbindungsart ist wohl so, dass man den DC-Stecker direkt einsteckt .. haha
https://hello-robot.com/stretch-docking-station
Meinungen auf Hacker News
Ich glaube, der Markt für solche Roboter bleibt klein, bis sie mit Hindernissen umgehen können.
Ein Spielzeug, das die Katze mitten auf den Boden gelegt hat, Papier, das wegen eines offenen Fensters vom Tisch geweht wurde, von Kindern verstreutes Spielzeug, ein Bleistift, der in Abwesenheit vom Schreibtisch gerollt ist, Wäsche auf dem Boden, Höhenunterschiede zwischen Teppich und Holzboden, offene oder geschlossene Türen – all das ist ein Problem.
Vor der eigentlichen Aufgabe können viele Zwischenschritte dazwischenkommen, etwa Spielzeug wegräumen, Papier aufheben, Wäsche aufheben oder Türen öffnen.
Kabel, Stapel von Dingen, die nicht bewegt werden dürfen, Möbel, schlafende Haustiere oder Haufen von Lieferkartons können einen Roboter auf Rädern halb dauerhaft blockieren.
Deshalb denke ich, dass ein universeller Haushaltsroboter keine Räder, sondern Beine haben muss – aus Stabilitätsgründen vielleicht sogar mehr als zwei.
Das mag seltsam klingen, aber das ideale Design könnte irgendwo zwischen einer großen, freundlichen Spinne und einem Hund liegen.
Es ist merkwürdig, dass die Robotik insgesamt in der Vorstellung festzustecken scheint, die Welt als zweidimensionale Ebene zu betrachten, und das wirklich schwierige Problem der Mobilität in einer dreidimensionalen Welt offenbar wegidealisiert.
Alles, was dieser Roboter tut, findet ebenfalls nur auf flachen, horizontalen Ebenen statt, und damit er funktioniert, sieht es so aus, als müsse ein Mensch vorher durch den Raum gehen und aufräumen.
Roomba hat dasselbe Problem.
Man muss keine langen Kabel über den Boden ziehen, man kann Markierungsband an Möbeln anbringen, und der Roboter kann Dinge aufheben und wegräumen, damit sie nicht als Stolpergefahr liegen bleiben.
Man kann auch auf Gegenstände umsteigen, die sowohl für Menschen als auch für Roboter geeignet sind – so wie Geschirr, das eine Spülmaschine leicht greifen, bewegen und reinigen kann.
Genau das tun wir bereits, wenn wir Produkte kaufen, die mikrowellen- oder spülmaschinengeeignet sind, und wir sind sogar überrascht, wenn etwas das nicht ist.
Wir nehmen auch die Kosten in Kauf, in Türen für Menschen Haustierklappen einzubauen, damit Haustiere sie selbst benutzen können.
Der Mensch ist eine sehr anpassungsfähige Spezies.
Zweitens mochte ich schon immer die Idee, einen Roboter unter einer Deckenschiene aufzuhängen.
Das sieht man auch in dem hervorragenden Film Moon; der Vorteil ist, dass er über Möbel hinweg schweben kann und dadurch mobiler ist als ein Mensch.
Es reicht, wenn der Arm Dinge greifen kann, die vor dem Roboter auf dem Boden liegen.
Unmöglich wirkt das nicht, und die Demo, in der mehrere Modelle verbunden wurden, sodass man sagen kann: „Bring die Takis auf den Nachttisch im Schlafzimmer“, und der Roboter es ausführt, ist beeindruckend.
Es bleibt also nur noch das „kleine“ Robotikproblem, den Arm so gelenkig zu machen, dass er bis zum Boden reicht.
Dort löst man es mit einem Code Pusher.
Das ist eine Art Viehgitter, das Dinge auf dem Boden wegschiebt.
Nicht jedes Problem braucht eine komplizierte Lösung.
Die Stärke dieses Projekts sehe ich besonders in der Einfachheit des Roboterdesigns.
Sehr cool.
Ich habe kaum Erfahrung mit Robotik, also ist das vielleicht eine dumme Frage, aber es interessiert mich:
Woher weiß er, was ein Objekt ist? Nutzt er so etwas wie ein neuronales Netz zur Echtzeit-Objektklassifikation, und wo liegen die Grenzen?
Weiß der Roboter, wenn er eine Anfrage nicht ausführen kann? Zum Beispiel, wenn man ihn bittet, eine große Kiste oder eine sehr schwere Kettlebell zu bewegen?
Wie gut funktioniert es, wenn ein Objekt versteckt oder verdeckt ist? Geht er danach suchen? Was passiert, wenn andere Objekte weggeräumt werden müssen, um an das angeforderte Objekt zu kommen?
Diese Arbeit ist wirklich cool, zeigt aber auch viele Grenzen moderner Roboter-Lernsysteme auf.
Das ist hier (https://github.com/ok-robot/ok-robot/tree/main/ok-robot-navi...) beschrieben; soweit ich es verstehe, wird im Grunde ein ViT-Modell, also ein Bildklassifikationsmodell, genutzt, um Bilder zu labeln, und diese Labels werden auf ein Voxelgitter projiziert.
Anschließend werden CLIP-Sprach-Embeddings verwendet, um Sprache und Voxelgitter miteinander zu verknüpfen.
Die Einschränkung ist, dass man die riesigen Versionen solcher Modelle nicht verwenden kann, wenn sie auf dem Roboter laufen sollen.
Man könnte große Modelle in der Cloud verwenden, aber das erzeugt viel Latenz.
Wenn eine Anfrage nicht von den Sprach-Embeddings abgedeckt wird, tut der Roboter möglicherweise einfach nichts.
Abgesehen von den Hardwaregrenzen des physischen Controllers scheint dieses System aber kein Wissen über Physik zu haben.
Die Voxel-Labeling-Methode hängt von einem Modul ab, das Voxeln Labels zuweist, und ohne visuelle Informationen kann es kein Label zuweisen.
Außerdem scheint es kein komplexes, höherstufiges Schlussfolgern zu geben, etwa: Eine Gabel liegt in einer Schublade, die Schublade ist in der Küche, und die Küche befindet sich in einem typischen Haus eher im hinteren Bereich.
Bei teilweise verdeckten Objekten hängt es von den Grenzen des visuellen Klassifikators ab; es könnte also funktionieren.
ViT ist sehr gut, aber es wird davon abhängen, wie stark das Objekt verdeckt ist.
Für die Objekterkennung verwenden wir größtenteils Lang-SAM(https://github.com/luca-medeiros/lang-segment-anything), und die schwere Arbeit, Bilder und Text zu verbinden, übernehmen CLIP-Embeddings(https://openai.com/research/clip).
Einer der Vorteile von CLIP-artigen Modellen ist, dass man die Klassen, die man später abfragen will, nicht im Voraus festlegen muss, sondern zur Laufzeit einfach Formulierungen verwenden kann, die einem einfallen.
Derzeit weiß der Roboter nicht, welche Anfragen nicht ausführbar sind.
Das aktuelle Modell ist sehr einfach und versucht keine besonders cleveren Verfahren.
Genau deshalb haben wir den Code aber veröffentlicht, in der Hoffnung, dass die Community darauf aufbauend intelligentere Roboter entwickeln kann, die mehr visuelle Hinweise aus der Umgebung nutzen.
Wenn ein Objekt beim ersten Scan versteckt oder verdeckt ist, schlägt es fehl.
Trotzdem halten wir es für einen guten Ausgangspunkt für weitere Forschung.
Ein Vorteil ist, dass die vollständige 3D-Information berücksichtigt wird; wenn ein Objekt also nur aus bestimmten Blickwinkeln sichtbar ist, besteht eine Chance, dass der Roboter es findet.
Für Menschen mit Behinderungen, ältere Menschen, Gamer, extrem faule Menschen und die Personen, die sich um sie kümmern, wirkt das wie eine Technologie, die das Leben verändern kann
Wenn man Gehwege rollstuhlgerecht macht, hilft das auch Eltern mit Kinderwagen, Menschen mit schwerem Gepäck, Menschen mit Gehstock, kleinen Kindern auf dem Fahrrad und Menschen mit schlechter Sehkraft
Persönlich hoffe ich, dass man KI beibringen kann, nicht die Jobs zu übernehmen, die alle wollen, sondern die Arbeiten, die niemand machen will
Cool
Wenn man ihn darauf trainieren könnte, Wäsche zu falten und wegzuräumen, würde ich ernsthaft in Erwägung ziehen, auch einen 25.000-Dollar-Roboter zu kaufen
Um langfristige Aufgaben wie das Suchen nach einem fehlenden Gegenstand zu lösen, könnte man annotierte Szenen in vorlagenartige Beschreibungen umwandeln und sie in ein ausreichend großes Modell einspeisen, das mit Interactive Fiction trainiert wurde
„Du stehst in der Küche. Vorne rechts steht ein großer Kühlschrank, dessen Griff rechts angebracht ist. Links befinden sich Schränke, und auf der Arbeitsplatte darüber steht ein Teller.“
> get beer„Hier ist kein Bier zu sehen.“
<< COT: Ich weiß, dass Bier oft im Kühlschrank ist. Ich sollte den Kühlschrank öffnen> open fridge„Als du den Kühlschrank öffnest, siehst du 4 Dosen Bier.“
> get beer„Mitgenommen“
Natürlich dauert es noch einige Jahre, bis das tatsächlich funktioniert, aber wenn man darüber nachdenkt, ist es ziemlich interessant
Es wäre eine Kombination aus einer von realen Sensoren gelieferten Interactive-Fiction-Erzählung und Chain-of-Thought-Blöcken als innerem Monolog
Man kann ein Foto der Küche machen und ChatGPT fragen, wo man Bier finden würde
Ich nutze das tatsächlich ziemlich häufig so
Aus Faulheit fotografiere ich Bauteile und Boards und frage, wie ich sie mit einem ESP32 verdrahten soll; anhand weniger Fotos erkennt es Boards, Chips und Pinbelegungen und sagt mir, welches Kabel wohin muss und worauf ich achten sollte
Oft schlägt es sogar nützliche Libraries für die Bauteile vor, es wirkt im Grunde wie Magie
Die Fehleranalyse ist wirklich gut gemacht
Ich frage mich, was ein Hardwarefehler bedeutet
Zum Beispiel gibt es 5 Versuche mit „Realsense hat falsche Tiefenwerte geliefert“, und ich frage mich, wie das festgestellt wurde
In den erwähnten 5 Versuchen lieferte Realsense bei transparenten oder halbtransparenten Objekten falsche Tiefenwerte, wodurch die von der Kopfkamera des Roboters erzeugte Punktwolke selbst falsch war
Obwohl es Open Source ist, kostet es fast 25.000 Dollar
Ich frage mich, warum es so teuer ist
Die meisten mobilen Manipulationsroboter kosten fünfstellig oder mehr, vor allem weil der Markt klein ist, Material- und Engineering-Kosten hoch sind und der Bau von Robotern an sich mühsam ist
Arbeit ist nicht kostenlos
Maßgeschneiderte PCBs und Hardware in kleinen Stückzahlen herzustellen ist ebenfalls nicht billig, und Roboter zu bauen, zu kalibrieren und zu testen auch nicht
Ich frage mich, ob es einen Link zur Produktseite gibt
Die Hardware ist proprietär und patentgeschützt
Ist das nicht dasselbe wie Dobb-E?
https://dobb-e.com/
Allerdings gibt es einige Überschneidungen im Team
Zum Beispiel bin ich Erstautor von Dobb-E, und mein Betreuer betreut beide Projekte
Der Hauptunterschied ist, dass dieses Projekt Zero-Shot ist und in einem neuen Zuhause 0 neue Daten benötigt, aber nur zwei Skills hat: Aufheben und Ablegen
Dobb-E hingegen kann mehrere Skills haben, erfordert aber in einem neuen Zuhause einige Demonstrationen
Beide werden auf der Website des verwendeten Roboters erwähnt: https://hello-robot.com/stretch-embodied-ai
Ich verfolge dieses Projekt schon eine Weile, und die Fortschritte sind großartig
Ich kann mir vorstellen, es mit Mobilitätshilfen wie Rollstühlen für Menschen mit eingeschränkter Arm- und Beinkontrolle zu integrieren
Wenn daraus so etwas wie ein „intelligentes“ Exoskelett würde, das bei bisher unmöglichen Aufgaben hilft, könnte das für sehr viele Menschen ein echter Gamechanger sein
Ich hätte wirklich gern ein stabilisiertes Plattformfahrzeug, auf das man Dinge laden und das man zwischen Punkten hin- und herschicken kann
Es wäre schön, eine gyrostabilisierte Plattform wie einen Segway von Punkt A nach Punkt B und zurück fahren zu lassen, über Wege, die nicht furchtbar, aber uneben sind, etwa Spazierwege
Ich habe früher immer wieder nach Optionen gesucht, aber nie etwas gesehen, das zu diesem Einsatzzweck passt
Ich frage mich, ob jemand ein neues Produkt kennt, das zu diesem Use Case passt
Konkret muss ein Tablett mit Getränken und Hors d’œuvres von einer Seite eines Grundstücks zur anderen transportiert werden, ohne etwas zu verschütten, und es braucht zumindest ein wenig Geländegängigkeit
Ich weiß nicht, ob ich es schon Getränke transportieren gesehen habe, aber Essen transportiert es auf jeden Fall
Die Technik gibt es schon, man muss nur alles gut zusammenfügen
Die Schwerkraft sorgt immer dafür, dass der Glasboden nach unten zeigt, also braucht man keine elektronische Stabilisierung