Disney verpackt große Emotionen in einem kleinen Roboter
(spectrum.ieee.org)- Disney Research stellte auf der IROS 2023 einen neuen, kindergroßen Robotercharakter vor und zeigte, dass selbst kleine zweibeinige Roboter durch die Art ihres Gehens Emotionen und Persönlichkeit vermitteln können
- Im Kern verbindet eine auf Reinforcement Learning basierende Pipeline die Absichten der Animatoren mit den Einschränkungen der Roboterhardware, damit ausdrucksstarke Bewegungen auch in realen Umgebungen stabil ausgeführt werden können
- Der Roboter besteht überwiegend aus 3D-gedruckter modularer Hardware, verfügt über einen Kopf mit 4 Freiheitsgraden und Beine mit 5 Freiheitsgraden, und vom Konzept bis zur vorführbaren Form verging weniger als ein Jahr
- In der Simulation wurde durch Variation von Faktoren wie Motorleistung, Massenverteilung und Bodenreibung gelernt, damit der Roboter auch bei Erholungsbewegungen seinen Charakterausdruck beibehält
- Disney betrachtet diesen Ansatz weniger als einen bestimmten Roboter, sondern eher als einen hardwareunabhängigen Prozess, der auf mehr physische Robotercharaktere sowie schnellere und dynamischere Bewegungen ausgeweitet werden soll
Neuer Robotercharakter auf der IROS 2023 vorgestellt
- Das Team von Disney Research stellte den neuen Robotercharakter in der Abend-Keynote der 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems in Detroit vor
- Der Roboter hat einen kindergroßen Körper, einen ausdrucksstarken Kopf, zwei wippende Antennen und kurze Beine
- Der Unterschied zu anderen kleinen zweibeinigen Robotern liegt nicht nur in der Gehfähigkeit, sondern darin, dass die Art des Gehens Emotionen transportiert und ihn wie einen lebendigen Charakter wirken lässt
- Disney hat Erfahrung damit, Robotern emotionale Bewegungen zu geben, von den Animatronics in der Hall of Presidents in Disney World im Jahr 1971 an
- Mit wachsender Mobilität des Roboters steigt auch die Schwierigkeit, emotionales Verhalten innerhalb realer Hardwaregrenzen zu entwerfen
Eine Pipeline, die Animationsabsicht und physische Einschränkungen verbindet
- Disney Research entwickelte im vergangenen Jahr mithilfe von Reinforcement Learning ein System, das die Vision von Animatoren in echte Roboterbewegungen umsetzt
- Ziel ist es, ausdrucksstarke Bewegungen zu erzeugen, die in verschiedensten Umgebungen robust funktionieren, etwa auf einer Bühne, in einem Disney-Themenpark oder in einem Wald in der Schweiz
- Herkömmliche Animationswerkzeuge haben keine Physik eingebaut, weshalb es für Artists schwierig ist, Animationen zu entwerfen, die in der Realität auch funktionieren
- Die neue Pipeline kombiniert und balanciert in der Simulation die Absichten der Animatoren mit den stabilen Bewegungen des Roboters
- Animatoren können sich auf möglichst ausdrucksstarke Bewegungen konzentrieren und die Umsetzung physischer Weltbeschränkungen dem System überlassen
Roboterhardware und Entwicklungsansatz
- Der Roboter wurde von einem Team unter Leitung von Moritz Bächer bei Disney Research in Zürich entwickelt
- Die Hardware wurde größtenteils per 3D-Druck gefertigt, und durch die modulare Struktur und die Aktuatoren konnten Design und iterative Verbesserungen schnell vorangetrieben werden
- Von der Konzeptphase bis zur Form im Video vergingen weniger als 1 Jahr
- Der Kopf besitzt 4 Freiheitsgrade und kann nach oben und unten schauen, sich umsehen und kippen
- Die Beine verfügen einschließlich der Hüftgelenke über 5 Freiheitsgrade und ermöglichen dynamisches Balancieren beim Gehen
Wichtiger als Gehen ist das „Wie“
- Disneys Ziel endet nicht damit, einen zweibeinigen Roboter stabil laufen zu lassen
- Um Emotionen zu vermitteln, muss der Roboter möglicherweise verschiedene Gangstile ausführen, etwa stolzieren, hüpfen, schleichen, schnell gehen oder gemächlich gehen
- Beteiligt sind sowohl Animatoren, die mit Bewegung Charakteremotionen vermitteln, als auch Robotikingenieure, die die mechanischen Systeme bauen
- Weil die künstlerische Absicht erhalten bleiben muss, ohne dass der Roboter stürzt, erfordert die Zusammenarbeit der beiden Disziplinen viel Versuch und Irrtum
- Für das Reinforcement-Learning-System ist nicht nur das Gehen selbst wichtig, sondern auch wie gegangen wird
Die Robustheit durch Reinforcement Learning
- Disneys Pipeline kann auf einem einzelnen PC neue Verhaltensweisen trainieren und in wenigen Stunden Lernprozesse ausführen, die Jahren an Erfahrung entsprechen
- Laut Moritz Bächer verkürzt dieser Ansatz die Entwicklungszeit für neue Robotercharaktere bei Disney von Jahren auf Monate
- Ein großer Vorteil von Reinforcement Learning ist, dass die resultierenden Bewegungen sehr robust sein können
- Das System lernt Bewegungen wiederholt, indem es die folgenden Faktoren leicht verändert
- Motorleistung
- Massenverteilung
- Reibung zwischen Roboter und Boden
- Der Roboter muss auf Situationen in der realen Welt reagieren und dabei dennoch seinen emotionalen Ausdruck bewahren, was für die Charakterwirkung entscheidend ist
- Bei bisherigen Verfahren mussten Übergangspunkte von Hand programmiert werden, doch wenn Bewegung und Animation in der Simulation gemeinsam gestört werden, kann der Roboter diese Punkte selbst finden
- Auf diese Weise entstehen Erholungsstrategien, die das Team nur schwer direkt hätte programmieren können
Roboter, die in der Nähe von Menschen Emotionen und Absichten vermitteln
- Soziale Roboter gibt es seit Jahrzehnten, und Roboter, die wahrscheinlich Zeit in der Nähe von Menschen verbringen, besitzen meist zumindest einige Funktionen für die Mensch-Roboter-Interaktion
- Bei funktional entworfenen Robotern wird Mensch-Roboter-Interaktion leicht zu einem nachträglich angefügten Element
- Disneys Roboter zeigt, dass sich über Charakter viele Informationen vermitteln lassen, ohne Funktionalität zu opfern
- In Situationen, in denen Menschen und Roboter nahe beieinander sind, kann das Vermitteln von Emotionen und Absichten eine wichtige Funktion sein
- Dieser Ansatz könnte auch für andere Anwendungen wertvoll sein, in denen Menschen neben Robotern arbeiten
Wichtiger als ein bestimmter Roboter ist ein hardwareunabhängiger Prozess
- Im Fokus dieser Arbeit steht weniger der konkrete Roboter als der Prozess
- Laut Bächer ist diese Plattform hardwareunabhängig
- Derselbe Ansatz lässt sich anwenden, um mehr Beine hinzuzufügen, Arme anzubauen oder Charaktere in völlig anderer Form zu schaffen
- Standard-Aktuatoren, 3D-gedruckte Teile und ein adaptives Reinforcement-Learning-Framework lassen sich auch auf Roboter übertragen, deren Aussehen und Bewegung sich stark unterscheiden
- Disneys nächster Schritt ist es, mit dieser Technologie mehr physische Robotercharaktere zu entwickeln und die Grenzen schnellerer und dynamischerer Bewegungen weiter zu verschieben
- Dieser Roboter hat noch keinen offiziellen Namen, und Disney ist noch nicht bereit zu sagen, wo er zu sehen sein wird
1 Kommentare
Meinungen auf Hacker News
Ich habe früher bei Disney Research gearbeitet, und das ist ein gutes Beispiel für die Art von Problemen, um die es dort geht.
Die Einschränkungen sind völlig andere als bei Engineering für normale Endverbraucher. Denn kreative Vorgaben sind zugleich Herausforderung und Ausweg.
Was unmöglich wirkt, lässt sich mit visuellen Täuschungen oder künstlerischen Tricks lösen, und mit Technik kann man sehr interessante anwendungsspezifische Probleme untersuchen. Der deutlich schwierigere Teil ist, solche Forschung so robust und attraktiv zu machen, dass man sie in einem echten Themenpark zeigen kann.
Ergänzend dazu: Disney Research ist nicht dasselbe wie Imagineering. Research befasst sich nicht nur mit Themenpark-Problemen, sondern mit allen möglichen Arten von Problemen.
Ich war fast zehn Jahre bei Disney, und ich glaube nicht, dass es einen besseren Ort gegeben hätte, um zu lernen, wie Engineering der Nutzererfahrung dienen sollte. Disney ist darin wirklich gut. Apple kommt dem vielleicht noch am nächsten, aber ich bin mir nicht sicher.
https://la.disneyresearch.com/publication/autoconnect/
Der einfachere Weg war natürlich, Wackelaugen-Sticker daraufzukleben. Meine Tochter hat auch noch kleine Herzen darauf gemalt und ihm einen Namen gegeben, ohne besonderen Grund, einfach nur zum Spaß.
Disney zeigte auf der Weltausstellung 1964 den animatronischen Lincoln, der alle verblüffte.
https://en.wikipedia.org/wiki/Great_Moments_with_Mr._Lincoln
Seltsamerweise wurde Philip K. Dicks We Can Build You, in dem ein Lincoln-Android vorkommt, 1962 geschrieben, also einige Jahre vor Disneys Lincoln.
Die emotionale Wirkung dieses Lincoln wurde vom Synchronsprecher Royal Dano getragen, der unter Disneys Regie arbeitete.
https://en.wikipedia.org/wiki/Royal_Dano
Solche Systeme sind ein gutes Beispiel dafür, dass das Ganze funktionieren kann, wenn man ein paar Dinge wirklich genau trifft und den Rest überzeugend genug vortäuscht.
Durch das jüngste wachsende Interesse an großen Sprachmodellen habe ich über Ideen wie Roboter-Haustiere nachgedacht.
Große Sprachmodelle scheinen menschliche Sprache und Bilder in dem Umfang verstehen zu können, wie ein Haustier sie verstehen müsste. Wenn ein Roboterhund, der nicht nur Gefühle ausdrückt, sondern auch versteht, was Menschen sagen, gut umgesetzt würde, könnte er ziemlich erfolgreich sein.
Er muss nicht alles perfekt verstehen. Ein visuelles und sprachliches Verständnis auf dem Niveau von GPT-4 reicht aus. Er muss keine langen Gespräche führen können; es genügt, wenn er passend reagieren kann, wenn er fröhlich oder traurig sein sollte.
Mainstream-Technologien wie iPhone-LiDAR-Mapping oder Indoor-Scans mit Meta Quest kommen dem zwar näher, aber bei Robotern, die von Natur aus viel instabiler sind als ein Roomba, müssen noch viele Punkte verbunden werden.
Anfangs werden wir solche kleinen Roboter wohl in abgesperrten Bereichen von Disney-Parks oder auf kleinen Bühnen sehen, die von Mitarbeitenden sehr sauber gehalten werden, wo sie mit Besuchern interagieren. Also in einer Form, die noch nicht mit der gesamten Komplexität der realen Welt umgehen muss.
Haustiere kennen all unsere Gewohnheiten und nehmen unsere Emotionen wahr, noch bevor wir sie selbst bemerken.
Wie groß wäre wohl der Gesamtmarkt für elektronische Begleit-Droiden unter der Marke Disney/Star Wars? Als ich sah, wie Kinder solche Roboter mit „Persönlichkeit“ an der Leine herumführten, wirkte das wie ein offensichtlicher Use Case.
Es muss nicht einmal extrem billig sein, solange es günstiger ist als die Anschaffung und Pflege eines Hundes. Es muss allerdings genauso liebenswert sein wie dieser Roboter.
Ich glaube nicht, dass der Zielmarkt jemals derselbe sein wird wie bei echten Haustieren. Vielleicht könnte man diesen Unterschied aber als Vorteil verkaufen.
Wenn Disney genug Hardware in solche Roboter packt, um darin ein Sprachmodell laufen zu lassen, könnte das ein Billionenmarkt werden.
Ich denke, man könnte ein niedliches, interaktives Modell mit weniger als 1 Milliarde Parametern trainieren.
Wenn die Funkbandbreite groß genug ist, gibt es keinen Grund, warum das Gehirn zwingend im Körper sitzen müsste.
Das frühere Disney hätte einfach vier solcher Roboter gebaut und sie in EPCOTs Future World herumlaufen lassen, um Atmosphäre zu schaffen. Das heutige Disney würde sie vermutlich für ein Star-Wars-Erlebnis einsetzen. Trotzdem schön anzusehen.
Die Achillesferse autonomer mobiler Roboter ist die Energiespeicherdichte.
Ob der Spielzeugmarkt wirklich Billionengröße hat, bezweifle ich.
Disney Imagineering, falls es heute überhaupt noch so heißt, fand ich als Teil eines Unternehmens wie Disney immer faszinierend.
Wenn man genauer darüber nachdenkt, wirkt es fast unlogisch, dass so etwas innerhalb von Disney existiert, und zugleich ist es zentral dafür, Disney zu dem zu machen, was Disney ist.
Jedes Mal, wenn sie Forschungsvideos veröffentlichen, ist es spannend. Ich erinnere mich auch an ein Video zur Schneesimulation in Frozen.
Von außen sieht es nach einem wirklich interessanten Arbeitsplatz aus, mit ungewöhnlichen Prioritäten. Denn es geht nicht darum, ein Consumer-Produkt oder ein neues Enterprise-Projekt herauszubringen, sondern darum, einen anderen narrativen Zweck zu unterstützen.
In der Mitte des Videos dachte ich natürlich, das müsse CGI sein; vielleicht liegt es daran, dass wir noch nicht daran gewöhnt sind, solche Roboter im Alltag zu sehen.
Nebenbei: Dieser Roboter ist wirklich niedlich, und ich hätte gern einen.
Disneys operativer Gewinn im Geschäftsjahr 2022 lag bei 12,7 Milliarden Dollar, davon kamen 7,9 Milliarden Dollar aus den Themenparks. Das sind 65 %.
Alles andere von Disney, also Pixar-Filme, Disney-Filme, Star-Wars-Filme, TV, Streaming, Tournee-Musicals, Merchandise, Partnerschaften und Lizenzierung von geistigem Eigentum, macht die übrigen 45 % aus.
Robotik ist für Themenparks unverzichtbar.
Wörtliche „Magie“ bedeutet meistens, „etwas tun zu können, von dem andere nicht wissen, wie es funktioniert“. Deshalb behält man solche Forschung intern und verschafft sich einen First-Mover-Vorteil bei Illusionen, Effekten und Erlebnissen, die sonst niemand bieten kann.
Imagineering versteht man am besten als Magiefabrik. In diesem Sinn gehört es in der Themenpark- und Show-Entertainment-Sparte des Unternehmens absolut zum Kerngeschäftsmodell.
Einige jüngere CEOs haben diesen Aspekt nicht besonders gut verstanden und in den letzten ungefähr fünf Jahren tatsächlich Teile der Arbeit ausgelagert, die früher intern erledigt wurden. Wenn Technologien, die Drittanbieter für Disney entwickelt haben, direkt zu Disneys Wettbewerbern weiterwandern, bin ich wirklich gespannt, wie sich die Themenpark-Landschaft im Raum Orlando in den nächsten etwa zehn Jahren entwickeln wird.
Wirklich äußerst liebenswert.
Sie machten den ersten abendfüllenden Animationsfilm, entwickelten die Multiplane-Kamera, um Tiefe darzustellen, arbeiteten mit Pixar zusammen, das Computeranimation vorantrieb, und übernahmen Pixar später.
Wenn man den Kopf ignoriert, sieht dieser Roboter diesem hier sehr ähnlich: https://en.wikipedia.org/wiki/Walker_(Star_Wars)#All_Terrain...
Merkt euch meine Worte: Behavior Authoring wird das Prompt Engineering der Zukunft, und es wird kein Zurück geben.
Roboterplattformen haben höchstens noch ein paar Iterationen vor sich.
Ich frage mich, ob sich noch jemand an die kleinen Arbeitsroboter aus dem Film Silent Running von 1972 erinnert.
https://www.imdb.com/title/tt0067756/?ref_=fn_al_tt_1
Ich weiß nicht, warum ich emotional an ihnen hing. Sie hatten nicht einmal ein sichtbares Mittel, Gefühle zu zeigen. Sie machten einfach still und gewissenhaft ihre Arbeit.
Trotzdem haben sie einen seltsam berührt, und die Szene gegen Ende des Films, in der sie zerstört werden, war ziemlich herzzerreißend.
Der Film stammt von Douglas Trumbull, der auch für seine Beiträge zu Spezialeffekten bekannt ist.
https://en.wikipedia.org/wiki/Douglas_Trumbull
Aus irgendeinem Grund stört es mich, dass dieser Roboter keinen Namen hat oder dass der Artikel keinen Namen nennt.