Google SIMA – Generativer KI-Agent für 3D-virtuelle Umgebungen

• DeepMind hat den Scalable Instructable Multiworld Agent (SIMA) vorgestellt
  • • Google DeepMind hat eine lange Geschichte im Bereich KI und Games – von Atari-Spielen bis zum AlphaStar-System, das StarCraft II auf dem Niveau menschlicher Großmeister spielt
• SIMA ist ein allgemeiner KI-Agent für 3D-virtuelle Umgebungen und kann in verschiedenen Videospielumgebungen Aufgaben anhand natürlicher Sprachanweisungen ausführen
• Diese Forschung zielt auf den Wechsel weg vom Fokus auf einzelne Spiele hin zu einem allgemeinen, anweisbaren KI-Agenten für Gameplay
• Das System wurde in Zusammenarbeit mit verschiedenen Spieleentwicklern über mehrere Videospiele hinweg trainiert
• Erstmals wird gezeigt, dass ein KI-Agent umfangreiche Spielwelten verstehen und darin Aufgaben gemäß natürlichsprachlichen Anweisungen ausführen kann

Lernen in Videospielen

• SIMA wurde in 9 verschiedenen Videospielen trainiert und getestet, darunter Hello Games’ No Man’s Sky und Tuxedo Labs’ Teardown
• Um das System verschiedenen Umgebungen auszusetzen, wurden in Zusammenarbeit mit Spieleentwicklern Partnerschaften mit 8 Spielestudios geschlossen
• SIMA erlernte vielfältige Fähigkeiten – von einfacher Navigation und Menünutzung bis hin zu Rohstoffabbau, Raumschiffsteuerung und Helmherstellung
• Es kam außerdem in 4 Forschungsumgebungen zum Einsatz, darunter Construction Lab, eine neue mit Unity aufgebaute Umgebung

SIMA: ein vielseitiger KI-Agent

• SIMA ist ein KI-Agent, der verschiedene Umgebungen wahrnehmen und verstehen kann und anschließend Handlungen ausführt, um vorgegebene Ziele zu erreichen
• Enthält ein Modell für präzises Bild-Sprach-Mapping sowie ein Videomodell, das vorhersagt, was als Nächstes auf dem Bildschirm passiert
• Benötigt keinen Zugriff auf den Spiele-Quellcode oder spezielle APIs, sondern nur Bildschirmbilder und einfache natürlichsprachliche Anweisungen vom Nutzer
• SIMA steuert den Hauptcharakter im Spiel per Tastatur- und Mausausgabe und führt so diese Anweisungen aus

Generalisierung in Spielen und anderen Umgebungen

• Ein über mehrere Spiele trainierter Agent zeigte bessere Leistung als ein Agent, der nur auf ein einzelnes Spiel trainiert wurde
• Es ist weitere Forschung nötig, damit das System nicht nur in trainierten, sondern auch in unbekannten Umgebungen Leistung auf menschlichem Niveau erbringen kann
• SIMAs Leistung hängt von Sprache ab; ohne Sprachtraining oder Anweisungen handelt es angemessen, aber ohne Ziel

Fortschritte in der KI-Agentenforschung

• Die Ergebnisse von SIMA zeigen das Potenzial für die Entwicklung allgemeiner sprachbasierter KI-Agenten
• Es handelt sich um Forschung in einem frühen Stadium; erwartet wird eine weitere Weiterentwicklung von SIMA durch mehr Trainingsumgebungen und leistungsfähigere Modelle
• Langfristiges Ziel ist es, allgemeine KI-Systeme und Agenten zu bauen, die Menschen nützlich sind, vielfältige Aufgaben online und in der realen Welt verstehen und sicher ausführen können

Meinung von GN⁺

• SIMA ist eine wichtige Forschungsarbeit, die zeigt, dass KI in der Lage ist, Anweisungen in verschiedenen Umgebungen menschenähnlich zu verstehen und danach zu handeln
• Solche Forschung könnte den Weg in eine Zukunft öffnen, in der KI über die Ausführung einfacher Aufgaben hinaus auch komplexe strategische Planung und Multitasking bewältigt
• Allerdings sind noch viel Forschung und Weiterentwicklung nötig, bevor KI Leistung auf menschlichem Niveau erbringen kann
• Es braucht eine Diskussion darüber, wie diese Technologie zur Lösung realer Probleme eingesetzt werden kann und welche potenziellen Grenzen die Generalisierungsfähigkeit von KI hat
• Ein anderes KI-Projekt mit ähnlicher Funktion ist OpenAI Gym, eine KI-Plattform, die in verschiedenen Videospielen lernen kann

[GN⁺]

Hacker-News-Kommentare

• Ich werde nie vergessen, als OpenAI auf der TI7 vorgestellt wurde und gegen professionelle Dota-Spieler antreten konnte. Dota ist ein extrem komplexes und schwieriges Spiel. Diese Erfahrung hat meine Karriere stark verändert.
• Ich hoffe, dass Entwickler diese Technologie nutzen können, um NPCs mehr Leben einzuhauchen. Das Versprechen von NPCs, die in verschiedenen RPGs ein eigenständiges Leben führen, hat nie wirklich zu sichtbaren Ergebnissen geführt, aber durch KI kommen wir dem jetzt vielleicht näher.
• Der Einsatz von Bots, bereits ein ernstes Problem in MMORPGs, verzerrt die Spielerökonomie und verschlechtert das Spielerlebnis für alle. Dieses Katz-und-Maus-Spiel, um solche Goldfarmer zu stoppen, wird viel schwieriger werden.
• Die Science-Fiction von einer Roboter-Apokalypse ist keine Science-Fiction mehr. Denn „interessante“ gewalttätige Spiele sind viel billiger und inhaltsreicher als langweilige Realitätssimulatoren.
• Der Einsatz als CI-Tool für die Spieleentwicklung wäre interessant. End-to-End-Playthrough-Tests, die nicht nur die UI, sondern auch Texte und den Spielfluss prüfen. Ich stelle mir Berichte vor wie: „Zeit bis zum Fällen des ersten Baums: +20 %“.
• Diese Technologie + Vtuber-Technologie + ein mit dem Publikum interagierender Chatbot + Voice-Conversion-Technologie == Automatisierung von Gaming-Influencern
• Ich frage mich, wie gut SIMA im Vergleich zu DeepMinds AlphaStar in StarCraft II abschneiden würde, wenn ich Anweisungen auf hohem Niveau gebe und SIMA sie ausführt. Dabei bekomme ich das ungute Gefühl, dass solche Kriegsspiele vielleicht bereits getestet werden. Es bräuchte auch umgekehrte Schutzmechanismen, bei denen die KI Bedenken äußert und eine Bestätigung verlangt, bevor sie manche Anfragen ausführt.
• Das erinnert mich an Ender’s Game: Dort täuschen sie einem Kind vor, es spiele ein Computerspiel, und bringen es so dazu, eine außerirdische Spezies auszulöschen.
• Der Aprilscherz „GeForce GTX G-Assist“ von Nvidia aus dem April 2017 könnte bald Realität werden.
• Erstaunlich, dass seit 2019 Transformer-XL verwendet wird – ich wusste nicht, dass es noch Leute gibt, die weiterhin Architekturen wie XLNet benutzen.