- Haptik ist bei der Robotersteuerung nützlich, doch bisherige Sensoren sind schwer anzubringen und nur begrenzt wiederverwendbar. AnySkin verringert dieses Problem als hautähnlicher Sensor, der sich einfach an Endeffektoren montieren und austauschen lässt
- Durch die Trennung von Sensorelektronik und Oberfläche muss nur die beschädigte Haut ersetzt werden; die Integration wird auf das Niveau vereinfacht, eine Smartphone-Hülle aufzusetzen und ein Ladegerät anzuschließen
- Eine flexible Oberfläche mit magnetischen Eisenpartikeln erzeugt bei Kontakt Magnetfeldverzerrungen, die von fünf Magnetometern als dreiachsige magnetische Flussdichte gemessen werden
- Eine per Behavior Cloning gelernte Policy behält auch nach dem Austausch der Haut bei den Aufgaben Card Swiping, Plug Insertion und USB Insertion ihre Erfolgsrate bei und zeigt damit Potenzial zur Generalisierung zwischen Sensorinstanzen
- Ein auf Daten von 30 Alltagsgegenständen trainiertes LSTM-Modell zur Rutscherkennung sagte slip events mit 92 % Genauigkeit voraus; Paper, Code, CAD-Dateien und Design-Tool sind veröffentlicht
Plug-and-play-Design für taktile Sensoren
- AnySkin ist ein hautähnlicher Sensor für Roboter-Touch und zielt auf eine Struktur ab, die sich leichter anbringen und nutzen lässt, wenn taktiles Sensing weniger eingesetzt wird als Sehen oder Propriozeption
- Die Grenzen bisheriger taktiler Sensoren liegen in mangelnder Universalität, Austauschbarkeit und Wiederverwendbarkeit von Daten
- Auf Basis des einfachen Designs von ReSkin werden Sensorelektronik und Sensing-Interface getrennt
- Nur die beschädigte flexible Oberfläche kann einfach ersetzt werden
- Das System ist für die Kompatibilität mit verschiedenen Roboter-Endeffektoren ausgelegt
- Kontakt wird erkannt, indem sich das von magnetisierten Eisenpartikeln in der Sensing-Oberfläche erzeugte Magnetfeld verformt
- Die Sensorelektronik besteht aus fünf Magnetometern (magnetometer), wobei jeder Sensor die dreiachsige magnetische Flussdichte misst
Lernleistung bleibt auch nach dem Austausch erhalten
- AnySkin zielt auf cross-instance generalizability ab, also darauf, eine an einer Sensorinstanz gelernte Manipulations-Policy auch auf andere neue Hautinstanzen anzuwenden
- Die per Behavior Cloning gelernte Policy behält auch nach dem Austausch der Haut bei drei Aufgaben ihren Erfolg bei
- Card Swiping
- Plug Insertion
- USB Insertion
- Bei der Rutscherkennung sagt ein mit Daten von 30 Alltagsgegenständen trainiertes LSTM-Modell slip events mit 92 % Genauigkeit voraus
Herstellung und veröffentlichte Materialien
- Für die Herstellung werden Smooth-On DragonSkin 10 Slow und MQFP-15-7 25μm magnetische Partikel im Verhältnis 1:1:2 gemischt und in einer zweiteiligen Form ausgehärtet
- Die ausgehärtete skin wird mit einem pulse magnetizer magnetisiert
- Die Design-Dateien für die Greifer-Spitzen sind veröffentlicht
- Zugehörige Materialien werden ebenfalls bereitgestellt
1 Kommentare
Meinungen auf Hacker News
So wie ich es verstehe, werden magnetische Partikel in Silikongummi eingebracht und magnetisiert; anschließend werden an mehreren Referenzpunkten mit Magnetometern Änderungen des Magnetfelds erfasst, um die Verformung des Gummis auszulesen und die „Druckpunkte“ auf der Oberfläche zu analysieren.
Die Innovation scheint hier zu sein, dass der Herstellungsprozess konsistent genug ist, sodass man nicht für jede einzelne magnetische Silikon-Schnittstelle die „Eingangssignale“ lange neu kalibrieren muss, sondern sie wie austauschbare Teile verwenden kann.
Es fühlt sich so an, als würden hochwertige taktile Sensoren eher zu maschinell gefertigten Schrauben als zu maßgeschneiderten handgemachten Nägeln.
Ich kenne mich in diesem Bereich nicht gut aus, aber das ist wirklich beeindruckend.
Ich frage mich, ob es sich für das Sortieren von Müll und Recyclingmaterialien einsetzen ließe und ob eine Neukalibrierung möglich ist, wenn Fremdstoffe daran haften oder das Material altert. Silikon dürfte vermutlich ziemlich alterungsbeständig sein.
Vielleicht könnte man damit auch Tomaten waschen und entstielen.
Ich hätte auch gern ein daraus gebautes Trackpad. Mich interessiert, welche Auflösung damit möglich wäre; ich würde nicht allzu viel Auflösung opfern wollen, nur um Funktionen wie Druck und Neigung zu bekommen.
Allerdings könnte es ziemlich gruselig sein, wenn es sich anfühlt, als würde man mit dem Finger über Haut reiben; ich möchte keinen fleischartigen Bereich an meinem Laptop haben.
Bei Müll- und Recyclingsortierung gibt es nicht viele Roboter, und meist werden die Materialeigenschaften der Objekte ausgenutzt. Einige Unternehmen haben versucht, Delta-Roboter einzusetzen, um den für Rentabilität nötigen hohen Durchsatz zu erreichen, aber das reichte nicht aus. Für Kommunen oder Universitäten mit großem Budget mag es möglich sein, finanziell ist es aber schwer zu rechtfertigen.
Bei der Neukalibrierung frage ich mich, wie die Entwickler mit dem Problem umgehen, dass das Magnetfeld mit der Zeit schwächer wird, sowie mit Fremdstoffen. Silikon kann zwar reinigungsfähig ausgelegt sein, aber wenn ein weiches Material bei hohem Durchsatz ständig mit Teilen in Kontakt kommt, verschleißt es und auch die Greifeigenschaften verändern sich.
Beim Waschen und Entstielen von Tomaten müssten die Kosten für Roboter und Endeffektoren noch über mehr als zehn Jahre weiter sinken und die Effizienz steigen, damit sie Massenspülen und manuelles Entstielen oder grobe mechanische Verfahren schlagen können. Das wirkt eher wie ein Doktorandenprojekt für einen theoretischen künftigen Haushaltsroboter.
Der Lenovo TrackPoint liefert wahrscheinlich bereits 95 % dessen, was man für ein Trackpad braucht, und ich glaube nicht, dass dieser taktile Sensor auf diesen Markt abzielt.
Nützlich erscheint mir eine einfache Version, die an bestehende Endeffektoren angebracht wird und nur boolesches Feedback zur „Teileerkennung“ liefert; außerdem Anwendungen, bei denen erkannt wird, ob sich ein Teil während des Greifens deutlich bewegt hat, um den Roboter anzuhalten; das Greifen von Lebensmitteln, bei dem mehrere Druckkombinationen nötig sind; Ausrichtungsaufgaben, bei denen wegen langer Endeffektoren die Positionserkennung allein über die Gelenke schwierig ist; sowie Textilmanipulation. Textilien sind für Roboter ein schwieriges Problem, daher hilft mehr Information über das „Teil“, und es könnte eine große Hürde senken, um die Automatisierung der Schuhherstellung zu vernünftigen Kosten zu ermöglichen.
Der Kern scheint ein anständiger 3-Achsen-Magnetometer-Chip[1] in Array-Anordnung zu sein.
Die in der austauschbaren Skin eingebetteten magnetischen Partikel werden während eines Magnetisierungsschritts in der Herstellung parallel ausgerichtet. Interessant ist die Mischung aus mehreren Elementen, die nahe am Stand der Technik sind und sich dennoch auch in einer Heimwerkstatt einsetzen ließen.
[1] https://www.digikey.com/en/products/detail/melexis-technolog...
ReSkin: versatile, replaceable, lasting tactile skins
https://arxiv.org/abs/2111.00071
Das wirkt wirklich nützlich für elektronische Musikinstrumente. Zum Beispiel so etwas wie das Linnstrument (https://www.rogerlinndesign.com/linnstrument), das ein Raster aus kraftempfindlichen Widerstandsstreifen verwendet.
Ich frage mich, ob sich solche Sensoren gegenseitig stören, wenn man sie nebeneinander anordnet.
Die Kosten machen mir Sorgen, aber bestehende Instrumente sind auch nicht gerade billig.
Die großen Modelle sind alle ziemlich teuer, und ich frage mich, ob diese neue Technologie eine Möglichkeit sein könnte, solche Produkte günstiger zu machen.
Bei Instrumenten mit stärkerem taktilem Feedback, etwa einer Handtrommel oder einer Geige, könnte es interessant sein. Solche elektronischen Steueroberflächen existieren aber nur, weil menschliche Spieler eben keine Roboter sind.
Bei Aufgaben wie dem Einstecken eines USB-Steckers frage ich mich, ob der Roboter Winkeländerungen wahrnimmt, wenn er am Loch ausgerichtet ist, oder Druckunterschiede zwischen den beiden „Fingern“
Ich würde gern wissen, ob es sich so anfühlt, als würde der Roboter den USB-Stecker durch „Ertasten“ ausrichten
Außerdem frage ich mich, ob das Basismaterial der Skin gegossenes Silikon ist oder möglicherweise 3D-druckbares TPU
https://www.smooth-on.com/products/dragon-skin-10-slow/
Direktes 3D-Drucken dürfte daher schwierig sein, aber die Form könnte man wohl 3D-drucken
Sehr gut, und es sieht deutlich einfacher herzustellen aus als die früheren Takktile-Sensoren https://biorobotics.harvard.edu/takktile.html
Wenn man zwischen Chip und Skin eine ausreichend feste Schicht einbringt, scheint man zerstörerisch hohe Kräfte auf die Skin ausüben zu können, ohne die Leiterplatte überhaupt zu beschädigen. Bei Takktile lag das Epoxidharz direkt am Drucksensor an, sodass man zwar eine Schutzschicht darüberlegen konnte, die Empfindlichkeit aber zwangsläufig sank
Mich würde auch interessieren, wie unabhängig der Teil zum Policy Learning von der Technik ist. Ich frage mich, ob das Modell am Ende nicht auf Kontaktpositionen, sondern auf Richtungsvektoren angewiesen ist, die das Board liefert. Das meine ich nicht als Problem an sich; ich möchte wissen, ob die Richtungsinformation bestimmte Variationen „entkoppelt“ und dadurch den Lernprozess vereinfacht
Da jedoch Deep Learning verwendet wird, ist es schwer zu interpretieren, von welchen Größen die Policy genau abhängt. Potenziell könnte sie modalitätsunabhängig sein, aber bislang gab es keine Sensoren, die (1) intuitiv relevante Größen wie Kontaktposition und 3-Achsen-Kräfte erfassen und (2) eine ausreichende Signalkonsistenz zeigen, damit ein Deep-Learning-Modell zwischen Exemplaren generalisieren kann
Das war die zentrale Motivation für AnySkin, und man hat ein relativ einfaches Herstellungsverfahren gefunden, das dies mit magnetischer Sensorik ermöglicht
Ich habe ein wenig zu robotischer Haptik geforscht, und es war wirklich spannend
Wir haben „biotac“-Sensoren verwendet, und die Leistung war sehr gut, aber 1) sie waren enorm teuer und 2) der Austausch der abnutzenden Skin war extrem schwierig
Ein Vorteil von biotac gegenüber diesem Ansatz ist, dass man sie tatsächlich kaufen kann, wenn man einen großen Scheck schickt. Solche aus der Forschung stammenden Dinge sind oft unabhängig vom Preis nicht zu bekommen. Sieht cool aus, ich hätte gern ein paar davon
Man könnte TPU 3D-drucken und hochwertige Magnete einsetzen. Auch das erneute Magnetisieren dürfte vermutlich ziemlich einfach möglich sein, könnte aber teuer sein https://www.magnet-physik.de/en/magnetizing-technology/magne...
Das Board darunter ist vermutlich einfach ein Raster aus diesen Produkten https://www.adafruit.com/product/4022
Mir gefällt die Grafik „Fabrication process“. Viel einfacher dürfte es kaum werden
Die Anwendung ist zwar ein taktiler Sensor, aber der eigentliche Durchbruch scheint darin zu liegen, magnetische Partikel mit paralleler Ausrichtung in ein flexibles Medium einzubetten
Da fallen mir sofort ein paar Fragen ein. Die Firmen, die Magnequench herstellen, wissen sicher, dass man Magnetpartikel in andere Materialien einbringen kann; wofür werden solche Partikel am häufigsten genutzt? Ich frage mich, ob sie normalerweise in ein starres, nicht flexibles Feststoffmedium eingebettet werden oder in Flüssigkeiten
Außerdem frage ich mich, ob es unbedingt Dragon Skin sein muss. Die Idee, magnetische Partikel in ein halbfestes Medium zu mischen, ist interessant. Wenn man Partikel etwa in Wackelpudding oder Silly Putty einbringt, könnte man dann durch ein externes Magnetfeld das partikelhaltige Medium verformen oder formen?
Formulierungen wie „gelernte visuell-taktile Policies für Präzisionsaufgaben wie USB-Einstecken oder Kreditkarten-Durchziehen …“ und „große Foundation …“ klingen so, als würde das Robotern ermöglichen, Türklinken oder Türgriffe zu benutzen und damit buchstäblich Türen zu öffnen. Bin gespannt
Soweit ich weiß, wurde das zuvor noch nicht gezeigt, und es eröffnet interessante großflächige Anwendungen dieses Sensors