Oasis: Ein Universum im Transformer

Oasis: Ein Universum im Transformer

• Einführung in Oasis

  • Oasis ist ein von KI erzeugtes Echtzeit-Open-World-Videospiel.
  • Es nimmt Tastatureingaben der Nutzer entgegen und erzeugt Physik, Spielregeln und Grafik in Echtzeit.
  • Es läuft ausschließlich auf einem Foundation Model, ohne Game Engine.
  • Es zeigt mithilfe der Inferenz-Engine von Decart, dass Echtzeit-Video möglich ist.

• Gameplay-Ergebnisse

  • Oasis versteht komplexe Spielmechaniken.
  • Es kann verschiedene Einstellungen, Orte und Objekte erzeugen.
  • Im Spiel kann es Bauen, Beleuchtungsphysik und Inventarverwaltung umsetzen.

• Architektur

  • Das Modell besteht aus einem räumlichen Autoencoder und einem Backbone für latente Diffusion.
  • Es basiert auf einem Transformer und baut auf ViT und DiT auf.
  • Es erzeugt Frames autoregressiv und ermöglicht dadurch Echtzeit-Interaktion.

• Leistung

  • Oasis erzeugt eine Echtzeit-Ausgabe mit 20 Frames pro Sekunde.
  • Über den Inferenz-Stack von Decart erreicht es spielbare Framerates.
  • Es ist für Etcheds Transformer-ASIC Sohu optimiert.

• Zukünftige Forschung

  • Es gibt Probleme, die sich durch die Skalierung des Modells und des Datensatzes lösen lassen.
  • Zusätzliche Optimierungstechniken für effizientes Training in großem Maßstab werden entwickelt.

Zusammenfassung von GN⁺

• Oasis ist ein von KI erzeugtes Echtzeit-Open-World-Spiel und demonstriert innovative Transformer-basierte Technologie.
• Charakteristisch ist die schnelle Inferenz, die Echtzeit-Interaktion ermöglicht.
• In Kombination mit neuer Hardware wie Sohu zeigt es das Potenzial, große Modelle zu unterstützen.
• Die Technologie hat Potenzial für Anwendungen nicht nur im Gaming, sondern auch in verschiedenen Consumer-Produkten.
• Ähnliche Projekte mit vergleichbaren Funktionen sind unter anderem OpenAIs Sora und Genmos Mochi-1.