OK-Robot: Ein offenes modulares Framework für Zero-Shot-Pick-and-Drop-Aufgaben in Wohnumgebungen unter Sprachbedingungen
- OK-Robot ist ein offenes modulares Framework für sprachgesteuerte Zero-Shot-Pick-and-Drop-Aufgaben in beliebigen Wohnumgebungen.
- In 10 Wohnumgebungen in New York City versuchte OK-Robot 171 Pick-and-Drop-Aufgaben und zeigt jeweils 5 Beispielaufgaben in 5 Haushalten.
Verständnis der Leistung von OK-Robot
- OK-Robot kann Zero-Shot-Generalisierung in vollständig neuen Umgebungen zeigen, aber es wurde eine Analyse durchgeführt, um die Gründe für Erfolg und Misserfolg besser zu verstehen.
- In neuen Wohnumgebungen wurde eine Erfolgsquote von 58,5 % erreicht, jedoch gibt es eine lange Liste von Fehlerursachen. Die drei wichtigsten sind: das Nichtauffinden des richtigen Objekts im semantischen Gedächtnis (9,3 %), das Erreichen schwieriger Posen im Manipulationsmodul (8,0 %) und Hardwareprobleme (7,5 %).
Paper
- Titel: "OK-Robot: Was ist bei der Integration offener Wissensmodelle für die Robotik wirklich wichtig"
- Das Paper kann auf arXiv und als PDF gelesen werden; außerdem werden Zitationsinformationen im BibTeX-Format bereitgestellt.
Code
- Der Code von OK-Robot ist auf GitHub verfügbar, der Quellcode steht unter der MIT-Lizenz, und die Inhalte der Website sind unter CC ANS 4.0 lizenziert.
Meinung von GN⁺
- Das OK-Robot-Projekt präsentiert einen innovativen Ansatz zur Integration von Sprachverständnis und physischer Interaktion im Bereich Robotik.
- Dieses Framework kann eine wichtige Rolle dabei spielen, die Autonomie und Anpassungsfähigkeit von Robotern in realen Wohnumgebungen zu verbessern.
- Durch den bereitgestellten Code und das Paper erhalten Forschende und Entwickler die Möglichkeit, diese Technologie weiterzuentwickeln und in verschiedenen Anwendungsfeldern einzusetzen.
3 Kommentare
https://hello-robot.com/purchase
Das Gerät selbst kostet 25.000 Dollar ...
Zusätzlich wird ein iPhone Pro benötigt.
Die Docking-Ladestation kostet 995 Dollar, lol
Ist das ein Preis, mit dem man leichtgläubige Käufer abzockt?
Warum ist die Dockingstation eigentlich wirklich so teuer?
Auch die Verbindungsart ist wohl so, dass man den DC-Stecker direkt einsteckt .. haha
https://hello-robot.com/stretch-docking-station
Hacker-News-Kommentare
Der Roboter wirkt bei der Arbeit langsam, aber Tests zeigen, dass er die meisten Aufgaben schneller, präziser und ohne Beschwerden als die Gen-Z-Generation erledigt.
Eine erstaunliche Entwicklung, die das Leben von Menschen mit Behinderungen, älteren Menschen, Gamern, extrem faulen Menschen und ihren Betreuenden verändern könnte.
Zeigt die Möglichkeit, langfristige Aufgaben mithilfe großer Modelle auf Basis interaktiver Fiktion zu lösen.
Fragen dazu, wie der Roboter Objekte erkennt, ob er erkennt, wenn er eine Anforderung nicht erfüllen kann, und wie gut er mit verdeckten Objekten umgeht.
Die persönliche Meinung, man würde gern einen 25.000-Dollar-Roboter kaufen, um Wäsche zu falten und wegzuräumen.
Die Frage, warum Allzweckroboter so langsam sind, obwohl man erwartet, dass Maschinen Aufgaben schneller als Menschen ausführen.
Erwähnung von Robotern wie Dobb-e.
Ausdruck der Erwartung, den Fortschritt des Projekts zu verfolgen, da die Integration mit Mobilitätshilfen für Menschen mit körperlichen Einschränkungen große Veränderungen bringen könnte.
Die Fehleranalyse ist gut gelungen, und es gibt Neugier darauf, was genau als Hardwarefehler gilt und wie dies etwa in den fünf Tests bestimmt wurde, in denen „Realsense eine falsche Tiefe lieferte“.
Der Wunsch nach einem gyroskopisch stabilisierten Plattformfahrzeug sowie die Frage, ob es eine Lösung gibt, die Getränke und Snacks über unebene Wege transportieren kann.