"Generative Interactive Environments"
- Ein Foundation-World-Model, das auf Internetvideos trainiert wurde und aus synthetischen Bildern, Fotos oder Skizzen spielbare Welten mit unendlicher Vielfalt erzeugen kann
- Wurde mit großen Internet-Video-Datensätzen aus 2D-Plattformspielen und der Robotik trainiert, ist auf beliebige Domänen anwendbar und lässt sich auf Internet-Datensätze skalieren
Steuerung ohne Aktions-Labels erlernen
- Verfügt über die Fähigkeit, fein abgestimmte Steuerung allein aus Internetvideos zu erlernen, was bei Internetvideos ohne Labels für Aktionen oder für die zu steuernden Bildbereiche eine Herausforderung ist
- Genie kann ableiten, welche beobachtbaren Teile im Allgemeinen steuerbar sind, und verschiedene konsistente latente Aktionen über die generierten Umgebungen hinweg erschließen
Eine neue Generation von Kreativen ermöglichen
- Kann mit nur einem einzigen Bild eine neue interaktive Umgebung erstellen und bietet damit eine neue Art, virtuelle Welten zu erzeugen und zu betreten
- Mit modernen Text-zu-Bild-Generierungsmodellen kann zunächst ein Start-Frame erzeugt und anschließend mit Genie zum Leben erweckt werden, um eine virtuelle Welt zu schaffen
- Kann virtuelle Umgebungen auch aus Skizzen oder Bildern der realen Welt erzeugen
Ein Sprungbrett für Generalist-Agenten
- Spielumgebungen können ein effektives Testbed für die Entwicklung von AI-Agenten sein, sind jedoch durch die Zahl verfügbarer Spiele begrenzt
- Mit Genie lassen sich AI-Agenten in neu erzeugten, unendlichen Umgebungen trainieren, und es wurde gezeigt, dass die von Genie gelernten latenten Aktionen auf tatsächlich von Menschen entworfene Umgebungen übertragbar sind
Die Zukunft generierter virtueller Welten
- Diese Website konzentriert sich auf Plattformspiel-Ergebnisse, aber Genie ist eine allgemeine Methodik und auf viele verschiedene Domänen anwendbar
- Genie kann auch verformbare Objekte simulieren, was für von Menschen entworfene Simulatoren eine Herausforderung darstellt, die aus Daten lernen können
- Es wird erwartet, dass Genie ein Zeitalter einläutet, in dem ganze interaktive Welten aus Bildern oder Text erzeugt werden können, und als Katalysator für das Training künftiger Generalist-AI-Agenten dient
1 Kommentare
Kleiner Bengel Gemini
Der da Gemma
Jener Genie