MouthPad: ein mundbasiertes Touchpad, das gelähmten Patienten die Computernutzung erleichtert

 (news.mit.edu)
2 Punkte von GN⁺ 2024-06-15 | 1 Kommentare | Auf WhatsApp teilen
  • Für Menschen, die ihre Hände nur schwer benutzen können, sind herkömmliche Sprachassistenzsysteme nicht immer geeignet; MouthPad von Augmental wandelt Bewegungen im Mund in Eingaben für Smartphone, Computer und Tablet um
  • Ein drucksensitives Touchpad, das am Gaumen anliegt, sowie zwei Bewegungssensoren verknüpfen Zungen- und Kopfgesten per Bluetooth mit Cursorbewegung, Scrollen und Klicken
  • Nutzer mit Rückenmarksverletzungen verwenden MouthPad bereits täglich; ein Student mit Tetraplegie nutzt es in Situationen, in denen Sprache schwierig ist, etwa beim Lernen in der Bibliothek und beim Schreiben von Formeln
  • Das Produkt wird auf Basis eines Mundscans des Nutzers als 3D-Modell individuell entworfen; ein Retainer aus zahnmedizinischem Material wird per 3D-Druck hergestellt und anschließend mit Elektronik ergänzt
  • Augmental will innerhalb des nächsten Jahres eine FDA-Zulassung erhalten und den Einsatz auf die Steuerung von Rollstühlen und Roboterarmen sowie auf Kostenerstattung durch Versicherungen ausweiten; außerdem entwickelt das Unternehmen eine nächste Version, die feinere Bewegungen der Sprechorgane erkennt

Eingabegerät für Menschen, die ihre Hände nur schwer benutzen können

  • Augmental ist ein Startup, das Menschen mit Bewegungseinschränkungen dabei hilft, natürlicher mit persönlichen Computing-Geräten zu interagieren
  • Das erste Produkt, MouthPad, ermöglicht es Nutzern, Computer, Smartphones und Tablets mit Zungen- und Kopfbewegungen zu steuern
  • Ziel ist es, auch Menschen mit stark eingeschränkter Handfunktion in die Lage zu versetzen, ein Telefon oder Tablet so geübt zu nutzen wie Menschen, die ihre Hände verwenden können

Wie Bewegungen im Mund zu Cursorbewegungen und Klicks werden

  • Das drucksensitive Touchpad des MouthPad liegt an einer Position, die den Gaumen berührt
  • Das Touchpad und zwei Bewegungssensoren wandeln Zungen- und Kopfgesten über Bluetooth in Echtzeit-Eingabesignale um
    • Durch Gleiten mit der Zunge kann nach oben, unten, links und rechts gescrollt werden
    • Eine Saug-Geste ermöglicht einen Rechtsklick
    • Ein Druck gegen den Gaumen ermöglicht einen Linksklick
  • Nutzer, denen die Zungensteuerung schwerfällt, können Beißen, Zusammenpressen der Zähne oder andere Gesten verwenden
  • Nutzer mit besserer Nackenkontrolle können per Head-Tracking den Cursor auf dem Bildschirm bewegen
  • Augmental will eine multimodale Schnittstelle schaffen, die auf die körperlichen Voraussetzungen jedes Nutzers abgestimmt ist

Warum die Zunge als Eingabemedium gewählt wurde

  • An der Positionskontrolle der Zunge ist ein großer Bereich des Gehirns beteiligt
  • Die Zunge besteht aus acht Muskeln, und der Großteil der Muskelfasern sind langsam kontrahierende Fasern, die nicht leicht ermüden
  • Vega sah darin eine Eigenschaft, die sich für die Interaktion mit Computern nutzen lässt, und experimentierte mit dem Mund als Eingabemedium
  • Im letzten Semester am MIT bestätigte er die Machbarkeit mit einem „Lollipop“-förmigen Prototyp, der mehrere Sensoren trug

Reale Nutzer und Anwendungsfälle

  • Menschen mit Rückenmarksverletzungen nutzen MouthPad täglich, um unabhängig mit ihren bevorzugten Geräten zu interagieren
  • Ein Nutzer mit Tetraplegie, der an der Universität Mathematik und Informatik studiert, schreibt mit MouthPad Formeln und lernt in der Bibliothek
    • In diesen Situationen waren sprachbasierte Hilfsmittel nicht geeignet
    • Er kann es nun auch für Mitschriften im Unterricht und zum Spielen mit Freunden verwenden
  • Viele der aktuellen Nutzer haben Rückenmarksverletzungen; einige können ihre Hände nicht bewegen, andere ihren Kopf nicht
  • Auch Gamer und Programmierer verwenden MouthPad
  • Die intensivsten Nutzer interagieren bis zu 9 Stunden pro Tag mit MouthPad

Maßanfertigung und der Start am MIT

  • Augmental erstellt auf Basis eines Mundscans des Nutzers ein 3D-Modell und generiert daraus das Design des MouthPad
  • Das Team druckt einen Retainer aus zahnmedizinischem Material per 3D-Druck und fügt anschließend elektronische Komponenten hinzu
  • Vega lernte seinen Mitgründer Corten Singer während seines Studiums an der UC Berkeley kennen und schloss sich später der Forschungsgruppe Fluid Interfaces am MIT Media Lab an
  • Am MIT belegte er Kurse in Mikrofabrikation, Signalverarbeitung und Elektronik und entwickelte Wearables, die beim Zugriff auf Online-Informationen, bei der Verbesserung des Schlafs und bei der Emotionsregulation helfen
  • In der frühen Entwicklungsphase nutzte das Team MIT-Ressourcen wie den Venture Mentoring Service, das MIT I-Corps program und den E14 Fund
  • Augmental wurde offiziell gegründet, als Vega Ende 2019 seinen Abschluss am MIT machte

Der gewählte Ansatz statt einer Gehirn-Maschine-Schnittstelle

  • Vega interessierte sich zeitweise für Gehirn-Maschine-Schnittstellen, suchte nach einem Praktikum bei Neuralink jedoch nach einer anderen Lösung
  • Gehirnimplantate haben großes Potenzial, Menschen in Zukunft zu helfen, sind aber durch lange Entwicklungszeiten begrenzt
  • Vega begegnete vielen Menschen, die schon jetzt sofortige Lösungen benötigten, und wollte am MIT einen Ansatz entwickeln, der das Potenzial von Gehirnimplantaten besitzt, aber deren Grenzen vermeidet

FDA-Zulassung und nächste Version

  • Augmental will innerhalb des nächsten Jahres eine FDA-Zulassung in den USA erhalten, um Anwendungsfälle wie die Steuerung von Rollstühlen und Roboterarmen zu unterstützen
  • Eine FDA-Zulassung könnte Kostenerstattungen durch Versicherungen ermöglichen und so die Zugänglichkeit des Produkts erhöhen
  • Das Unternehmen entwickelt eine nächste Version, die auf Flüstern und feinere Bewegungen der inneren Sprechorgane reagiert
  • Diese Funktion ist wichtig für eine frühe Kundengruppe, die Lungenfunktion verloren hat oder deren Lungenfunktion beeinträchtigt ist
  • Vega sieht auch die Entwicklung von KI-Agenten und entsprechender Hardware positiv und hofft, dass Augmental zu einer stets verfügbaren, robusten und privaten intelligenten Schnittstelle wird

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-06-15
Meinungen auf Hacker News

  • Warum gab es so etwas nicht schon vor 10 bis 15 Jahren? Bei Assistive Technology hat man das Gefühl, dass nicht genug Menschen sie entwickeln oder sich darum kümmern, bis sie selbst direkt davon betroffen sind.

    • In einem Universitätslabor bauen wir ein assistives Musiksteuergerät für Musiker mit Behinderungen. Nach dem, was ich kurz beobachtet habe, schaffen es viele solcher Projekte aus der Forschung nicht wirklich in ein nachhaltig tragfähiges Geschäft.
      Körperliche und neurologische Merkmale sind extrem unterschiedlich, sodass Hilfsmittel oft Anpassung, Tuning und Support für bestimmte Nutzer erfordern; deshalb werden sie tendenziell auch teuer.
    • Es scheint mehrere Gründe zu geben. Erstens die Technologielücke: Wer Assistive Technology braucht, weiß möglicherweise nicht, wie er oder sie selbst damit anfangen kann, sie zu bauen. Zweitens der Perspektivunterschied: Für nichtbehinderte Techniker ist es schwer, das Problem richtig zu verstehen und etwas Passendes zu entwickeln.
      Drittens die Kommunikation: Die Person, die etwas braucht, muss ihre Bedürfnisse erklären können, und dafür braucht es Reflexion und ein gewisses Maß an Technikverständnis. Und zuletzt das Geld: Wie viele Menschen können sich schon monatelang oder jahrelang an ein Projekt klammern, das mit hoher Wahrscheinlichkeit kein Geld einbringt?
    • Tippen mit Augenbewegungen: https://www.optikey.org/
      Tippen mit Head Pointer: https://www.alimed.com/adjustable-head-pointer.html
      Einhändiges Tippen: Es gibt mehrere Tastaturlayouts https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      Außerdem gibt es Spracherkennung, Text-to-Speech und Barrierefreiheitsfunktionen von Windows. Produkte wurden tatsächlich entwickelt und veröffentlicht, aber es ist noch mehr Arbeit nötig, und dieses Produkt ist eine willkommene zusätzliche Option.
    • Ich habe das vor etwa 9 Jahren ausprobiert und die Lösung auch als Open Source veröffentlicht. Damals hatte ich das Gefühl, dass der Markt nicht groß genug war, also habe ich beschlossen, es offen zugänglich zu machen, damit jeder auf Basis der Forschungsergebnisse etwas bauen kann.
      http://pallette.io/instructions.html
    • Genau. Es ist bedauerlich, dass die Welt so funktioniert, aber ich hoffe, dass MouthPad^ dieses alte Muster durchbrechen kann.
      Universal Design nützt nicht nur Menschen in Extremsituationen, sondern allen – und deshalb sollte es alle interessieren. Ein kleines Beispiel ist die Geschichte der abgesenkten Bordsteine.

  • Das scheint allen helfen zu können, die schon einmal Überlastungsverletzungen durch Computernutzung hatten. Wegen einer schweren Sehnenscheidenentzündung war es sehr schmerzhaft, eine Maus oder ein Trackpad zu benutzen; es wäre wirklich großartig gewesen, so ein Gerät als weitere Option zu haben.

    • Ich frage mich, warum immer noch niemand eine mit dem Fuß bediente Maus verkauft. Auch für normale Nutzer, die mit beiden Händen tippen, wäre das ziemlich praktisch.

  • Die kürzlich erschienene Vision Pro und Eye-Tracking bieten ebenfalls eine zwar eher nischige, aber sehr barrierearme Eingabemethode. Sie wird in diesem Kontext bereits genutzt.

    „I was having trouble getting around that day,“ he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. „As I get older, and this happens more often for me,“ he said, „I envision myself working virtually with the AVP even more.“
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

    • Eye-Tracking soll auch auf iPhone und iPad kommen. Es wird nicht so gut funktionieren wie auf der Vision-Pro-Hardware, aber für Menschen, denen es schwerfällt, ein Headset allein aufzusetzen und abzunehmen, ist es schon gut, überhaupt eine Option zu haben.
      https://9to5mac.com/2024/06/13/turn-on-iphone-eye-tracking-i...

  • Ich würde es gern als zusätzliche Steuerungsoption in Spielen verwenden. Ich glaube, man könnte ziemlich gut darin werden, mit der Zunge zu zielen. Da die Entfernung vom Gehirn zur Zunge kürzer ist als vom Gehirn zur Hand, wäre dann auch die Reaktionszeit schneller? Vielleicht dominiert Zungensteuerung irgendwann den E-Sport ;) RGB-Mundschutz kommt sicher bald.

    • Es gibt einen Streamer namens RockyNoHands. Er spielt Warzone komplett mit dem Mund.
      Am Controller sind Schläuche angebracht, durch die er bläst oder saugt, um die Figur zu steuern. Es ist wirklich beeindruckend, ihm dabei zuzusehen, wie er ein hart umkämpftes Spiel live spielt.
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • Wie steht es wohl um die Zungenausdauer oder Zungenfertigkeit eines durchschnittlichen Gamers? Wie viel müsste man üben, um sie so weit zu steigern, dass es tatsächlich nützlich ist?
      Es dürfte ziemlich schwierig sein, das gut zu beherrschen.
    • Das Foto der Zungenmaus im Artikel könnte ein Rendering sein, aber es sieht grob nach etwa 16 dpi aus; als zusätzliche Maus zum Drehen der Welt passt das wohl. Wenn man sehr kleine Pixel treffen will, würde man sich wahrscheinlich ein Gerät mit so etwas wie Skalierungssteuerung wünschen.

  • Auch wenn Assistive Technology für Menschen mit Behinderungen der wichtigere Anwendungsfall für Eingaben mit dem Mund ist, wäre ein einfacher Bluetooth-Mundschutz mit Mediensteuerung für Actionsportarten – Wiedergabe, Pause, Weiter/Zurück – ebenfalls schön.

    • Genau so etwas stelle ich mir vor: einmal an den Gaumen tippen für Wiedergabe/Pause, innen an die oberen linken/rechten Zähne tippen für Zurück/Weiter, die Zunge an der Innenseite der Zähne entlangziehen, um die Wiedergabeposition zu ändern, und die Zunge am Gaumen vor und zurück bewegen, um die Lautstärke zu regeln.
      Das wirkt ziemlich intuitiv und vermutlich deutlich präziser als die Finger-Gesten, die man heute verwendet. Sorgen hätte ich höchstens bei Tragekomfort, Fehleingaben und Auswirkungen auf das Sprechen. Andererseits tragen manche Leute auch Zahnschmuck; so schlimm wirkt es also nicht.
    • Kannst du ein paar Beispiele für solche Anwendungsfälle nennen?

  • Ich wünschte, brolylegs hätte lange genug gelebt, um das zu sehen :( Er nutzte einen normalen Controller.
    Nebenbei hat auch Microsoft einige gute Dinge für Gamer mit Behinderungen. Es gibt den Adaptive Controller, und mit Byowave haben sie auch am bald erscheinenden Proteus Controller gearbeitet.
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • Etwas am Rande: Ich verstehe nicht, warum sich Keyboard-/Maus-Layer nicht stärker durchgesetzt haben. Seit ich vor ein paar Jahren das UHK[1] auf Kickstarter unterstützt habe, benutze ich überhaupt keine Maus mehr.
    Es dauert ein wenig, bis man sich daran gewöhnt hat, aber die Maus über die Tastatur zu steuern, ist wirklich großartig.
    [1] Ultimate Hacking Keyboard

  • Man sollte auch erwähnen, dass der Name perfekt ist. MouthPad klingt so, als würde jemand mit einem MouthPad im Mund versuchen, „mouse pad“ zu sagen. Wunderschön.

  • Vor sehr langer Zeit habe ich einmal über eine ähnliche Technik gelesen. Wahrscheinlich war es diese hier:
    https://www.researchgate.net/publication/224648269_Tongue_dr...