- Ein Forschungsteam der University of Washington hat das System Target Speech Hearing entwickelt, das eine sprechende Person registriert, wenn der Träger sie nur 3–5 Sekunden lang ansieht, und diese Stimme auch in lauter Umgebung in Echtzeit hörbar macht
- Die Mikrofone auf beiden Seiten handelsüblicher Kopfhörer arbeiten zusammen mit einem Onboard-Embedded-Computer; wenn der Nutzer eine Taste drückt und sich zur sprechenden Person ausrichtet, lernt die Machine-Learning-Software das Stimmmuster
- Nach der Registrierung verfolgt das System die Stimme weiter, auch wenn sich Hörer oder Sprecher bewegen; je mehr die sprechende Person spricht, desto mehr Trainingsdaten entstehen und desto besser wird die Fokussierung auf den Zielsprecher
- In einem Test mit 21 Personen bewerteten die Teilnehmenden die Sprachverständlichkeit des registrierten Sprechers im Durchschnitt als fast doppelt so hoch wie bei ungefiltertem Audio
- Derzeit kann jeweils nur eine Person registriert werden; wenn sich aus derselben Richtung eine laute andere Stimme mischt, ist die Registrierung schwierig, sodass die Erweiterung auf Earbuds und Hörgeräte eine künftige Aufgabe bleibt
Funktionsweise von Target Speech Hearing
- Target Speech Hearing der University of Washington ist ein KI-System, das Nutzern von Noise-Cancelling-Kopfhörern ermöglicht, gezielt nur die Stimme einer bestimmten Person zu hören
- Der Nutzer trägt handelsübliche Kopfhörer mit Mikrofonen, dreht den Kopf in Richtung der sprechenden Person und drückt eine Taste
- Die Schallwellen des Zielsprechers müssen gleichzeitig die Mikrofone auf beiden Seiten des Headsets erreichen
- Die Toleranz beträgt 16 Grad
- Die Kopfhörer senden die erfassten Signale an einen Onboard-Embedded-Computer, und die Machine-Learning-Software lernt das Stimmmuster des gewünschten Sprechers
- Nach Abschluss der Registrierung reduziert das System andere Umgebungsgeräusche und gibt nur die Stimme des registrierten Sprechers in Echtzeit wieder
- Es verfolgt die registrierte Stimme weiter, auch wenn sich Hörer und Sprecher bewegen
- Wenn der Sprecher weiterredet, wächst die Menge der Trainingsdaten, wodurch das System sich besser auf den Zielsprecher konzentrieren kann
- Das Forschungsteam präsentierte die Ergebnisse am 14. Mai auf der ACM CHI Conference on Human Factors in Computing Systems
- Der Code des Proof-of-Concept-Geräts ist unter LookOnceToHear veröffentlicht
- Dieses System ist noch kein kommerzielles Produkt
Testergebnisse und aktuelle Grenzen
- In einem Test mit 21 Personen bewerteten die Teilnehmenden die Verständlichkeit des registrierten Sprechers im Durchschnitt als fast doppelt so hoch wie bei ungefiltertem Audio
- Die Forschung baut auf früheren Arbeiten zu Semantic Hearing auf, bei denen Nutzer eine Kategorie von Geräuschen auswählen konnten, die sie hören wollten, während die übrigen Umgebungsgeräusche entfernt wurden
- Das frühere System wählte bestimmte Klangklassen wie Vögel oder Stimmen aus
- TSH konzentriert sich nicht auf eine Klangkategorie, sondern auf einen registrierten Sprecher
- Derzeit kann TSH jeweils nur einen Sprecher registrieren
- Wenn aus derselben Richtung wie der Zielsprecher eine andere laute Stimme kommt, kann der Sprecher nicht registriert werden
- Wenn der Nutzer mit der Klangqualität nicht zufrieden ist, kann er den Registrierungsvorgang für denselben Sprecher erneut durchführen, um die Verständlichkeit zu verbessern
- Das Forschungsteam will das System künftig auf Earbuds und Hörgeräte ausweiten
1 Kommentare
Hacker-News-Meinungen
Wenn das auf die Größe von kleinen Ohrstöpseln schrumpft, würde ich es auch als jemand ohne Hörbehinderung nutzen wollen
Zumindest laut Diagnose bin ich nicht hörbehindert, aber inzwischen bin ich unsicher, ob die Testmethode einfach schlecht ist, ob ich normal bin oder ob andere Leute nur besser so tun, als würden sie gut hören
Mit Freunden oder bei Treffen landet man zwangsläufig in lauten Restaurants oder Bars, und es ist immer frustrierend, wenn ich etwas nicht verstanden habe, um Wiederholung bitte und es dann mit derselben leisen Stimme wiederholt wird, sodass ich es erneut nicht verstehe
Noch schlimmer ist es, Witze oder beiläufige Bemerkungen zu verpassen; dann ist man in Situationen wie: „Worüber lacht ihr, ich habe es nicht gehört, könnt ihr es vielleicht zum dritten Mal wiederholen?“
Aber jeder Hörspezialist, zu dem ich ging, sagte, mein Gehör sei normal, und schließlich fand ich den angeblich besten Spezialisten in einer großen Metropolregion und bekam nach einem Jahr Wartezeit einen Termin
Nach einem ganzen Tag Tests sagte der Spezialist, es gebe „gute Nachrichten, schlechte Nachrichten und gute-schlechte Nachrichten“: Die gute Nachricht sei, dass mein Gehör extrem gut sei, etwa auf dem Niveau eines fünfjährigen Kindes; die schlechte Nachricht sei, dass ich so gut höre, dass ich Geräusche nicht auseinanderhalten kann
Nicht mein Gehör sei schlechter geworden, sondern die Fähigkeit meines Gehirns, Geräusche zu trennen; und die gute-schlechte Nachricht sei, dass mein Gehör irgendwann wie bei allen nachlassen werde, sodass ich für ein paar Jahre an öffentlichen Orten besser hören dürfte
Einer der Gründe, warum dieses Problem schlimmer geworden ist, ist meiner Ansicht nach, dass Designer von Restaurants und öffentlichen Räumen sich nicht mehr um die Klangumgebung kümmern
Die meisten Bars, die in den letzten 15 Jahren eröffnet haben, haben Zementböden, kaum Schallabsorption und wirken so gestaltet, als gelte ein Abend nur dann als gelungen, wenn einem die Ohren dröhnen
Ich gehe buchstäblich nicht mehr an solche Orte, weil man dort kein Gespräch führen kann
Statt das mit einem Gerät zu lösen, würde ich empfehlen, das Problem so zu benennen, wie es ist, und es auf traditionelle Weise zu lösen: „Ich habe kein Wort verstanden, und ihr wahrscheinlich auch nicht. Das ist Unsinn, gehen wir raus“
Solche Orte sind oft so gestaltet, dass man leidet, wenn man nicht ständig schreit oder gegenüber der Umgebung abgestumpft ist
Ich weiß nicht, warum Leute dorthin gehen und auch noch Geld dafür ausgeben; ich würde vermutlich nicht einmal hingehen, wenn man mich dafür bezahlt
Gegenseitige Rücksicht auf unsere Grenzen möchte ich nicht durch ein AI-Gerät ersetzen
Man kann die Ohren offen lassen und trotzdem den Ton des Headsets hören; wenn man, etwa bei einem Telefonat in einer Menschenmenge, klarer hören muss, hält man sich einfach mit den Fingern die Ohren zu
Dann entsteht im Ohr eine Art Lautsprechergehäuse-Effekt, der den Klang der Knochenleitung voller macht und zugleich Außengeräusche abschirmt
Wenn man echte Kopfhörerqualität braucht, kann man Ohrstöpsel einsetzen, und sie sind klein und unauffällig
Es ist nicht perfekt, aber mir gefällt, dass man nur mit Fingern oder Ohrstöpseln nahtlos von „das Headset hören, während die Ohren offen bleiben“ zu „Geräusche blockieren und das Headset sehr klar hören“ wechseln kann
Mit einem seitlich angebrachten Shotgun-Mikrofon wäre das wirklich cool. Falls das die richtige Bezeichnung für ein Mikrofon mit engem Richtwinkel ist
https://www.flareaudio.com/pages/earhd
Wenn ich die Lippen sehen kann, hilft das enorm dabei, Sprache deutlich genauer zu interpretieren, auch wenn ich nicht Lippenlesen kann
Jedes Mal, wenn ich dazu recherchierte, stieß ich auf Verbindungen zu Autismus oder ADHS, und 2008, bevor ich eine Diagnose hatte, habe ich diesen Gedanken etwas beiseitegeschoben
Inzwischen habe ich eine AuDHD-Diagnose
Was HN-Leser wissen sollten: Hörgeräte sind extrem teuer und miserabel.
Wenn man die Preise nachschlägt, sind selbst einfache Hörgeräte, die im Grunde nur „Töne lauter machen“, enorm teuer.
Noch schlimmer: Weil sie ins Ohr eingreifen, verliert man leicht die Fähigkeit, das Gehör zu „lenken“.
Das heißt, es wird schwer, andere Gespräche oder Geräusche herauszufiltern.
Ein guter Nebeneffekt davon, dass Facebook Milliarden in ein vermutlich weitgehend vergebliches Unterfangen steckt, praxistaugliche und massentaugliche AR zu finden, ist https://www.projectaria.com/glasses/.
Das ist eine relativ günstige Plattform, auf der man AR-artige Interaktionen ausprobieren kann; mit Eye-Tracking, Mikrofon-Array und Frontkamera lässt sie sich recht einfach zu einem lenkbaren Mikrofon umbauen.
Meine Phonak-Hörgeräte wechseln bis zu einem gewissen Grad automatisch das Programm, und über die Begleit-App lassen sie sich feinjustieren.
Auch in lauten Umgebungen funktionieren sie einigermaßen, und ich kann mich unterhalten — etwas, das mit Hörgeräten vor etwa zehn Jahren unmöglich gewesen wäre, wofür ich wirklich dankbar bin.
Ein Paar kostet ungefähr 2000 Dollar, und zum Glück wird es vom staatlichen Gesundheitssystem abgedeckt, sodass ich etwa alle fünf Jahre nur 50 Dollar zahle. Natürlich zahle ich das letztlich auch über Steuern.
Ich hoffe, dass Fortschritte bei „KI“ über einfache Verstärkung und Filterung hinausgehen und in lauten Umgebungen Stimmen trennen, verstärken oder rekonstruieren können.
Gleichzeitig wünschte ich, der Trend, in Cafés, Restaurants und Bars immer lautere Musik zu spielen, würde verschwinden. Das ist ein Albtraum für Barrierefreiheit — besonders für Menschen mit Hörverlust, aber auch für alle anderen.
0: https://www.socialstyrelsen.se/en/about-us/healthcare-for-vi...
1: https://www.vox.com/2018/4/18/17168504/restaurants-noise-lev...
Ein kleines Kartell kontrolliert das Angebot, wodurch der Anreiz entsteht, nur den Gewinn zu maximieren, statt mit besserer Technik zu konkurrieren.
(0) https://www.thebignewsletter.com/p/silencing-the-competition...
So bekommt man ein Hörgerät, das gut zu einem passt, möglichst günstig und zuverlässig ist.
Andernfalls beginnen durch den Sinnesverlust die oben erwähnten Probleme beim Aufmerksamkeitsfiltern.
Je länger man eine Hörkorrektur vermeidet, nachdem das Gehör schlechter wird, desto komplexere und teurere Hörgeräte braucht man später, um es wieder auszugleichen.
Denn teure Hörgeräte versuchen nur unbeholfen zu approximieren, was Gehirn und auditiver Kortex vor dem Sinnesverlust erledigt haben.
Moment, ich muss einen Termin für einen Hörtest machen.
Als sie noch lebte, habe ich bei Familienfeiern oder in der Öffentlichkeit beim Versuch, mit ihr zu sprechen, auch darüber nachgedacht, so etwas zu bauen.
Ich vermute, der hohe Preis kommt von den Beziehungen zu Medizin- und Healthcare-Unternehmen sowie von den Kosten durch Compliance.
Zum Beispiel kann dasselbe Display um ein Vielfaches teurer werden, wenn es für den Einsatz in medizinischen Einrichtungen zertifiziert ist.
Meine Widex-Hörgeräte sind hervorragend. In normalen Situationen ist die Klangqualität fantastisch.
Meine einzige echte Beschwerde ist, dass sie nicht vollständig wasserdicht sind und ich an Regentagen ein wenig vorausplanen muss, wenn ich nach draußen gehe.
Als jemand mit Hörbehinderung fühlt sich so eine Funktion wirklich wie ein Geschenk des Himmels an.
So etwas sollte so schnell wie möglich in Hörgeräte integriert werden. Halt die Klappe — nein, eigentlich rede weiter, ich zahle dafür.
Wenn sich einzelne Stimmen herausgreifen lassen, könnte man sie an Spracherkennung weitergeben und echte Gespräche mit Untertiteln versehen. Das ist nützlich, wenn das Gehör noch schlechter wird oder ganz fehlt.
Allerdings kann die Cloud-Roundtrip-Latenz die Nützlichkeit stark beeinträchtigen oder zunichtemachen; man braucht also wirklich ein mobiles Gerät, das lokal verarbeiten kann.
Sie wurden eingestellt, aber generalüberholte Geräte sind noch zu bekommen.
Wearable-Brillen sind für den genannten Use Case ziemlich vielversprechend, weil man beim Gespräch mit jemandem die Sperrigkeit und den unhöflich wirkenden Eindruck von Kopfhörern vermeiden kann.
Eine weiterentwickelte Form davon könnte auch bei meinem Tinnitus ziemlich helfen.
Wenn eine Person spricht, höre ich sie gut, selbst wenn sie leise spricht oder weiter weg ist; aber wenn mehrere Menschen reden oder Musik läuft, höre ich gar nichts mehr.
Wenn ich in einer lauten Bar sitze, ist es fast unmöglich zu verstehen, was jemand außer den zwei Personen direkt neben mir sagt.
Gespräche in normalen Umgebungen sind meist kein Problem.
Daher wäre eine Funktion, die die Stimme der Person verstärkt, die ich gerade ansehe, wirklich großartig.
Apple AirPods haben bereits eine Klangregelung, die auf Umgebung und Modus reagiert, und sie unterstützen auch gezielte Stimmverstärkung, wenn man das Telefon vor die sprechende Person legt.
Wenn AirPods gerichtete Stimmverstärkung wie in dieser Studie direkt unterstützen würden, wäre das an lauten Orten eine große Hilfe für soziale Interaktionen.
Code: https://github.com/vb000/LookOnceToHear
Die Chance auf kommerziellen Erfolg scheint für den umgekehrten Einsatzzweck größer zu sein
Stell dir vor, man könnte auf einer Party genau diese eine Person stummschalten, die mit nerviger Stimme viel zu laut redet
Bei Konzerten tragen viele Ohrstöpsel, um ihr Gehör nicht zu ruinieren; stell dir vor, man ersetzt sie durch In-Ear-Kopfhörer, die nur das Konzert und die Stimmen von Familie und Freunden durchlassen und den Rest herausfiltern
Auch die Lautstärke ließe sich regeln: Wenn der Ehepartner spricht, wird nur diese Stimme über die anderen Geräusche angehoben, während das Publikumsrauschen für die Atmosphäre bleibt, normale Gespräche der Leute in der Nähe aber entfernt werden
Ich bin kein Experte für Machine Learning oder AI, aber nach meinem Verständnis ist das mit heutiger Technik nicht unmöglich
Es gäbe zwar Akku- und Leistungsgrenzen, aber bei einem Konzert ergäben auch Kopfhörer Sinn, die mit einem Band hinter dem Kopf fixiert sind und nicht verloren gehen, selbst wenn sie herausfallen
Man müsste zwar „deine Stimme“ trainieren, aber wenn Alexa das in 10 Sekunden kann, müsste es eine Handy-App auch können
Wenn es so etwas fürs Kino für unter 200 Euro gäbe, würde ich es sofort kaufen und vielleicht wieder ins Kino gehen
Tragen Leute auf Partys Kopfhörer?
Wenn es eine Möglichkeit gäbe, solche Leute herauszufiltern, wäre ich definitiv dankbar
Ich habe früher bei Sonos gearbeitet, lange vor dem aktuellen App-Update-Desaster und der Kopfhörer-Einführung
Beim ersten eingestellten Versuch, ein Kopfhörerprodukt zu entwickeln, haben wir als Konzeptfunktion etwas Ähnliches geprüft: bestimmte Stimmen gezielt durchzulassen, über den Chipsatz für aktive Geräuschunterdrückung
Ich erinnere mich nicht mehr genau, welchen Ansatz die DSP-Leute verwendet haben. Ich war näher an der Hardware für aktive Geräuschunterdrückung dran
Was sie praktisch trennen konnten, war allerdings nur die Stimme des Trägers selbst, weil dieses Signal stärker war als alle anderen Geräusche
Das hier ist wirklich cool. Ich bin gespannt, welche interessanten Dinge man mit Kopfhörern noch machen kann
Chipsätze für aktive Geräuschunterdrückung sind enorm leistungsfähig, und ich glaube, ihr Potenzial ist noch lange nicht ausgeschöpft
Ich habe noch kein passendes Produkt gefunden
Geräuschunterdrückung auf der Hörerseite scheint mit Abschirmung und aktiver Geräuschunterdrückung gelöst zu sein, aber es wäre großartig, wenn es eine Hardware-Software-Kombination gäbe, die für die Gegenseite nur meine Stimme isoliert und den Lärm ausblendet und damit echtes Remote Work ermöglicht
Sonos-Produkte haben generell Probleme mit grundlegenden Funktionen; zum Beispiel schaffen sie es nicht, sich wieder zu verbinden, wenn das Wi-Fi kurz weg war und zurückkommt, besonders wenn sich in der Zwischenzeit der Wi-Fi-Kanal geändert hat
Die „technische“ Lösung ist, den Stecker zu ziehen und neu zu starten, was nicht einmal aus der Ferne geht
Selbst wenn sie mit dem Wi-Fi verbunden sind, ist Sonos’ Spotify Connect so absurd verbuggt, dass man nicht einmal dann neu starten kann, wenn man es möchte
Mit einem ESP oder einem ähnlichen TI-Modul kann man die Wi-Fi-Verbindung halten und immer wieder neu verbinden lassen; ist es für die Sonos-Firmwareentwickler wirklich so schwer, so etwas Grundlegendes hinzubekommen?
Es hängt weiterhin von der Bedingung ab, dass sich keine konkurrierenden Geräusche oder Stimmen an derselben Position wie der Zielsprecher befinden
Der Open-Source-Code ist unter https://github.com/vb000/LookOnceToHear zu finden, das Paper unter https://arxiv.org/abs/2405.06289
Vielleicht ist es also nicht völlig weit hergeholt wie viele populärwissenschaftliche Artikel
Wenn jemand es unabhängig zum Laufen bringen kann, würde ich gern die Ergebnisse hören
In einem vollen Raum fällt es mir schwer, jemanden sprechen zu hören, vermutlich weil mein Kopf versucht, alle Geräusche gleichzeitig aufzunehmen; das könnte mir wirklich sehr helfen. Ich vermute, es liegt an ADHD
Wenn es eine Möglichkeit gäbe, alle anderen Geräusche außer der Stimme meines Gesprächspartners stark zu reduzieren, wäre das erstaunlich
Hoffentlich ist es nur eine Frage der Zeit, bis AirPods selbst das irgendwann können
So eine Funktion wäre für mich ein Segen
Bei Hörtests, bei denen man kleine Pieptöne hört, schneide ich gut ab, aber besonders in überfüllten Umgebungen habe ich große Schwierigkeiten zu verarbeiten, was Menschen sagen
Mein Vater hat dasselbe Problem
Eine potenzielle Funktion, von der ich nicht wusste, dass ich sie brauche
Zu Hause trage ich ständig Kopfhörer mit aktiver Geräuschunterdrückung, und es wäre wirklich nützlich, wenn automatisch nur die Stimme meines Partners durchgelassen würde
Wahrscheinlich nicht den Partner, aber vielleicht …
Dass die Stimme des Partners leise klingt und nicht richtig ans Ohr gelangt, liegt vermutlich an der passiven Abschirmung der Kopfhörer
Oder vielleicht überdeckt einfach die Musik, die man hört, die Stimme
Aktive Geräuschunterdrückung blockiert die Stimme des Partners nur dann, wenn sie sich in Tonhöhe und Lautstärke ähnlich wie Hintergrundrauschen mischt und wie weißes oder farbiges Rauschen wirkt, sodass die aktive Geräuschunterdrückung das Ganze unterdrücken kann