HN vorgestellt: Open-Source-Digital-Stylus mit 6DoF-Unterstützung

D-POINT: Digitaler Stift mit optisch-inertialem Tracking

• D-POINT ist ein Open-Source-Digital-Stylus, der mithilfe von Kameratracking und Inertialmessung 6DoF-Eingaben (sechs Freiheitsgrade) ermöglicht.
• Er bietet geringe Latenz, Druckerkennung und Genauigkeit im Submillimeterbereich, kann auf jeder ebenen Oberfläche verwendet werden und ist mit Consumer-Webcams kompatibel.
• Das Projekt ist Teil einer Bachelor-Abschlussarbeit in Elektrotechnik, und der Code sowie die Designdateien wurden als Open Source veröffentlicht, in der Hoffnung, für andere nützlich zu sein.

Design

• Die Hauptkomponenten des Stylus werden per 3D-Druck hergestellt und umfassen einen Kraftsensor, einen per USB-C aufladbaren Lithium-Ionen-Akku sowie ein Arduino-basiertes Entwicklungsboard für Bluetooth und die Logik.
• Für die visuelle Posenbestimmung sind auf der Rückseite des Stylus acht gedruckte ArUco-Marker angebracht.

Visuelle Posenbestimmung (VPE)

• Der VPE-Prozess besteht aus vier Hauptschritten:
  1. Markererkennung: Mit OpenCV werden die Ecken jedes ArUco-Markers auf dem Stylus erkannt.
  2. Rolling-Shutter-Korrektur: Mithilfe eines einfachen 2D-Bewegungsmodells wird der Einfluss des Rolling Shutter auf die beobachteten Eckpositionen geschätzt und korrigiert.
  3. Perspective-n-Point (PnP): Aus diesen Eckpositionen wird mit dem PnP-Algorithmus die Pose des Stylus relativ zur Kamera geschätzt.
  4. Koordinatentransformation: Unter Verwendung der relativ zur Kamera und zur Zeichenoberfläche kalibrierten Pose des Stylus werden Position und Orientierung der Stylusspitze relativ zur Zeichenoberfläche berechnet.

Inertiale Fusion

• Mithilfe eines erweiterten Kalman-Filters (EKF) werden die VPE-Schätzwerte mit den Inertialdaten von Beschleunigungsmesser und Gyroskop fusioniert; mit dem Rauch-Tung-Striebel-(RTS)-Algorithmus werden die Schätzwerte in Echtzeit weiter verfeinert.
• Um die Zeitverzögerung von Kameraframes zu berücksichtigen, wird ein Messupdate-Algorithmus mit negativer Zeit verwendet.
• Der EKF ist mit NumPy und Numba implementiert; durch die Nutzung von Inertialmessungen wird die Latenz im Vergleich zur ausschließlichen Nutzung der Kamera deutlich reduziert, und Genauigkeit sowie Berichtsrate bei schnellen Bewegungen werden verbessert.

Meinung von GN⁺

• D-POINT zeigt durch ein hohes technisches Niveau und ein innovatives Design neue Möglichkeiten für digitale Stylus-Systeme auf.
• Da es als Open Source bereitgestellt wird, bietet es technisch Interessierten die Möglichkeit, es frei zu nutzen und weiterzuentwickeln.
• Die Technologie ist mit Consumer-Webcams kompatibel und kann auf jeder ebenen Oberfläche verwendet werden, was eine wichtige Rolle bei der Verbesserung der Nutzererfahrung spielen kann.

[GN⁺]

Hacker-News-Kommentare

• Bewunderung für das Projekt

  „Das ist wirklich ein großartiges Projekt. Es setzt etwas in die Realität um, das ich mir nur vorgestellt hatte. Als ich Elite: Dangerous gespielt habe, nutzte ich HOTAS (Throttle und Joystick zur Handbedienung) und Pedale, und ich hatte das Gefühl, dass sich das Raumschiff auf eine bessere Weise steuern lassen müsste. Ich wollte ein Modell des Raumschiffs in der Hand bewegen und das Schiff im Spiel sollte sich auf die gleiche Weise bewegen. Dieses Projekt scheint genau so etwas möglich zu machen. Den Schub könnte man mit der anderen Hand auf ähnliche Weise steuern. Solche neuen oder ungewöhnlichen Eingabemodelle sind wirklich faszinierend, und mit solchen Fähigkeiten kann man der Fantasie freien Lauf lassen.“

• Wissenschaftlicher Wert des Projekts

  „Dieses Projekt war Teil einer Bachelor-Abschlussarbeit in Elektrotechnik. Ein Bachelorstudent! Wenn dieses Projekt keine Bestnote bekommen hat, gibt es keine Gerechtigkeit.“

• Interessante Überlegungen zur Zukunft von Webcams

  „Der Einsatz einer Webcam ist interessant. Ich frage mich, ob eine Zukunft kommt, in der herkömmliche einzelne Webcams mit etwa 78° FOV durch duale (stereoskopische) Fisheye-Webcams ersetzt werden. Solche Webcams könnten neue UX-Interaktionen ermöglichen, etwa Gesten inklusive Eye-Tracking, dazu neue Interaktionen mit Peripheriegeräten wie bei diesem Stylus oder etwa einem Lenkrad für Rennspiele, und außerdem 3D-180°-Aufnahmen für deutlich flexiblere Webcam-Meetings inklusive VR-Präsenz. Die Idee, den gesamten 3D-Raum vor dem Computermonitor als Eingabemethode zu nutzen, rückt näher, und die Art, wie hier eine Webcam eingesetzt wird, fühlt sich wie ein Schritt in genau diese Richtung an.“

• Wahrnehmung der Rolling-Shutter-Kompensationstechnik

  „Die Rolling-Shutter-Kompensation ist ziemlich cool, und ich frage mich, ob von Anfang an klar war, dass das ein Problem werden würde, oder ob man das erst nach dem Aufbau des Systems erkannt hat.“

• Kreativer Ansatz bei Eingabegeräten

  „Besonders beeindruckend ist die Verschmelzung der Technologien. Beim Nachdenken über ‚Laptop-Tastatur ... Handform, 3D-Stylus, Touch‘ sind mir einige Ideen gekommen. Mit zusätzlichen Buttons könnte daraus eine 3D-Maus werden, auch wenn die Kameraabdeckung ein Problem sein könnte. Das Gehäuse eines Laptops ist größtenteils leer, und auch Akkus könnten dünner gebaut werden, daher wäre es möglich, beim Tippen einen Stylus mit Marker zu halten. Eine große Spitze könnte sanft über einer ThinkPad-Tastatur gleiten und Platz für weniger dicht angeordnete Kraftsensoren sowie zusätzliche Spitzenmarker bieten. Ein dünnes Silikon-Flachbandkabel kann sehr flexibel sein, und ich müsste den Stylus nur an ein Arduino anschließen. Außerdem frage ich mich, wie ein Inertialsensor so etwas wie einen Metall-Clicker erkennen würde.“

• Begeisterung für 6DOF-Controller und Lob für die Softwareseite des Projekts

  „Ich bin ein großer Fan von 6DOF! Die Arbeit an Hardware und Computer-Vision-Pose ist großartig, aber fast noch beeindruckender ist das Zeichnen drehbarer Software-Oberflächen. Das könnte zusammen mit irgendeiner Form physischer Benutzeroberflächensteuerung verwendet werden und etwa etwas wie Finger-Slider für den gleichen Effekt sein. Es wirkt wie ein gutes Projekt, um Problemlösungstechniken zu üben. Gut gemacht, bravo!“

• Bewunderung für das Projekt und ein praktisches Beispiel für den Einsatz eines Kalman-Filters

  „Ein sehr cooles Projekt. Hilfreiche Dokumentation. Ein gutes praktisches Beispiel für den Einsatz eines Kalman-Filters!“

• Bewunderung für das Projekt und der Wunsch, es selbst zu bauen

  „Ein wirklich beeindruckendes Projekt! Ich mag es sehr und möchte es unbedingt einmal selbst bauen.“

• Anwendungsmöglichkeiten in Robotik/VR und technische Fragen

  „Wirklich cool! Das könnte auch für Robotik/VR nützlich sein. Wie sieht es mit einhändigem Tracking per Webcam aus? Frage: Kann man mit Gyro + Beschleunigungssensor Druck verfolgen? Wenigstens ein ‚Tap‘? Noch eine Frage: Wie viel kostet das? Besonders der Drucksensor?“

• Neugier auf externes Tracking mit Kameras und Bedauern über die Technik

  „Externes Tracking mit Kameras ist eine coole Idee, auf die ich nicht gekommen wäre. Es ist schade, dass es keine gute Arbeit dazu gibt, die Lighthouse-Technik von Valve/HTC günstig nachzubauen.“