civStation – Ein computer-use-VLM-basierter Agent zur Steuerung von Civilization VI auf Strategieebene (inklusive Human in the loop)

• Ein computer-use-VLM-Harness, das Civilization VI per natürlichsprachigen Befehlen spielt
  Eingabe von High-Level-Intents wie „Nach Osten expandieren“, „Wirtschaft priorisieren“ oder „Wissenschaftssieg“ → der Agent führt die tatsächlichen Aktionen aus

• 3-Layer-Architektur mit Trennung von Strategie und Ausführung (Strategy / Action / HITL)

  • Strategy Layer: Wandelt natürliche Sprache in strukturierte Ziele um, hält die Langzeitstrategie aufrecht und zerlegt Aufgaben
  • Action Layer: Bildschirmbasierte Zustandserkennung (VLM) + Ausführung per Maus/Tastatur (keine Game-API)
  • HITL Layer: Struktur kontrollierbarer Autonomie, bei der während der Ausführung eingegriffen, korrigiert oder gestoppt werden kann

• Eine einzelne Strategie wird in mehrere Action-Sequenzen zerlegt; pro Task erfolgen 2 bis 16 Modellaufrufe

• Auf Subagenten basierende Ausführung in begrenzten Tasks wie Stadtverwaltung oder Einheitenbewegung

• Experiment zur Umstellung der Schnittstelle von „Intent → Action“ statt klassischer RL-/IL-/Skript-Ansätze

• Ansatz über Strategiedelegation und Agenten-Orchestrierung statt direkter Steuerung

• Zentrale technische Probleme:

  • Wahrnehmungsfehler des VLM,
  • execution drift,
  • schwierige Verifikation des Erfolgs
  • höhere Latenz und API-Kosten bei mehrstufiger Ausführung, geringere Qualität von Fallback-Strategien

• Keine vollständige Automatisierung, sondern Echtzeit-Anpassung und Kontrolle der Strategie auf Human-in-the-loop-Basis möglich

• Experimentelles System, das Probleme der Agentensteuerung und Verifikation in reinen UI-Umgebungen behandelt

• Der Fokus liegt weniger auf dem eigentlichen Gameplay als darauf, „die Mensch-System-Schnittstelle auf Strategieebene anzuheben“

[bus710]

Wenn man eifrig auf Eroberungs-, Kultur-, Wissenschafts- oder Diplomatiesieg zusteuert, bekommt man am Ende doch immer irgendwo von einem Religionssieg einen Schlag in den Rücken.