Android-Version von Project Gameface veröffentlicht

• Das auf der Google I/O 2023 vorgestellte Open-Source-Projekt Project Gameface
  • Eine freihändige Gaming-"Maus", mit der sich der Computercursor über Kopfbewegungen und Gesichtsgesten steuern lässt
  • Nutzer können durch Heben der Augenbrauen klicken und ziehen oder durch Öffnen des Mundes den Cursor bewegen, was die Zugänglichkeit von Spielen verbessert
• Das Projekt wurde durch die Geschichte des Videospiel-Streamers Lance Carr inspiriert, der aufgrund einer Muskelerkrankung an Tetraplegie leidet
  • In Zusammenarbeit mit Lance wurde Project Gameface Wirklichkeit

Einsatz des Projekts

• Nun wird noch mehr Code als Open Source veröffentlicht, damit Entwickler Anwendungen entwickeln können, die alle Android-Geräte barrierefreier machen
• Über die Kamera des Geräts werden Mimik und Kopfbewegungen flüssig erfasst und in eine intuitive und personalisierte Steuerung umgewandelt
• Entwickler können jetzt Anwendungen erstellen, in denen Nutzer ihre Erfahrung anpassen können, etwa über Gesichtsausdrücke, Gestengröße, Cursorgeschwindigkeit und mehr

Drei zentrale Prinzipien beim Aufbau von Project Gameface für Android

1. Menschen mit Behinderungen eine neue zusätzliche Möglichkeit bieten, Android-Geräte zu bedienen
2. Eine kosteneffiziente Lösung entwickeln, die Skalierung ermöglicht
3. Das Produkt nutzerfreundlich und anpassbar entwickeln, basierend auf den Erkenntnissen und Leitlinien aus dem ersten Gameface-Release

Cursor-Implementierung auf Android-Geräten

• Einführung einer neuen Methode zur Bedienung von Android-Geräten
  • Auf Basis des positiven Feedbacks zu Project Gameface wurde deutlich, dass Entwickler und Nutzer die Idee schätzen, den Cursor per Kopfbewegung zu bewegen und Aktionen über Gesichtsausdrücke auszuführen
• Dieselbe Idee wurde übernommen, um einen neuen virtuellen Cursor auf Android-Geräte zu bringen
  • Mithilfe der Android Accessibility Services wurde ein neuer Cursor erstellt und mit der Face Landmarks Detection API von MediaPipe so programmiert, dass er sich entsprechend den Kopfbewegungen des Nutzers bewegt
• Innerhalb der API gibt es 52 Face-Blendshape-Werte, die die Ausprägung von 52 Gesichtsgesten wie das Heben der linken Augenbraue oder das Öffnen des Mundes darstellen
  • Einige dieser Werte werden genutzt, um vielfältige Funktionen effektiv zuzuordnen und zu steuern, was erweiterte Möglichkeiten für Anpassung und Bedienung bietet
  • Außerdem werden Blendshape-Koeffizienten genutzt, damit Entwickler für jeden einzelnen Ausdruck unterschiedliche Schwellenwerte festlegen und so die Erfahrung anpassen können

Visualisierung von Project Gameface

• Die besten Funktionen der Android Accessibility Services wurden in Project Gameface integriert
• Mobile Aktionen
  • In der Windows-Version von Project Gameface können Nutzer typische Klickaktionen nachbilden
  • Unter Android ist die Bandbreite der benötigten Funktionen jedoch größer
  • Es gibt Touch-Events, die an das OS übergeben werden, sowie globale Aktionen wie "Zurück", "Multitasking-Wechsel" und "Home"
  • Mithilfe der Android Accessibility API wurde festgelegt, welche Aktionen den Nutzern angeboten werden können
  • Derzeit unterstützt Project Gameface für Android GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS und GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
• Kamerafeed
  • Der Kamerafeed verbessert die Nutzererfahrung erheblich, da er eine präzise Schwellenwerteinstellung und ein tieferes Verständnis der Gesten ermöglicht
  • Außerdem wird für Nutzer klar ersichtlich, dass die Kamera aktiv verwendet wird, um ihre Kopfbewegungen und Gesten zu erfassen
  • Wenn der Kamerafeed nur als Overlay erstellt wird, kann auf wichtige Bereiche wie die Android-Einstellungen nicht zugegriffen werden
  • Daher werden Project Gameface und die Android Accessibility Services so eingesetzt, dass die Kamera auch in den Android-Einstellungen und anderen wichtigen Bereichen weiterhin eingeblendet bleibt
• Ausführung der Drag-Funktion möglich
  • Die Android Accessibility Services bieten derzeit keine einfache Möglichkeit, Screen-Drag-Aktionen auszuführen, mit denen Nutzer in Echtzeit interagieren
  • Das Produkt wurde jedoch erweitert, um eine Drag-Funktion einzubinden, sodass Nutzer Start- und Endpunkt definieren können
  • Dadurch wird die Drag-Aktion reibungslos entlang des festgelegten Pfads ausgeführt
• Erwartungen und Offenheit
  • Man blickt mit Vorfreude auf das Potenzial von Project Gameface und hofft, dass Entwickler und Unternehmen darauf aufbauen, um neue Erfahrungen zu schaffen
  • Der Code von Gameface ist nun auf Github als Open Source verfügbar