- Forschende der University of Technology Sydney haben eine nichtinvasive Brain-to-Text-Technologie vorgestellt, die allein anhand von EEG-Hirnströmen still gelesene Sätze in Text auf dem Bildschirm umwandelt
- Das KI-Modell DeWave funktioniert ohne Hirnimplantate oder MRT; die Nutzenden tragen lediglich eine EEG-Kappe zur Aufzeichnung der Hirnaktivität
- EEG ist zwar deutlich verrauschter als implantatbasierte Signale, erreichte aber nach BLEU einen Wert von etwa 0,4 und zeigte bessere Ergebnisse beim Abgleich von Verben als von Substantiven
- Es treten Fehler auf, bei denen etwa „the author“ zu „the man“ wird; das System hat also die Grenze, statt exakter Wörter eher semantisch nahe Wörter auszuwählen
- Das Forschungsteam geht davon aus, die Genauigkeit auf 0,9 steigern zu können; die Ergebnisse wurden auf der NeurIPS vorgestellt, das ArXiV-Preprint wurde jedoch noch nicht peer-reviewt
Experiment zum Auslesen von Sätzen allein per EEG
- Forschende des GrapheneX-UTS Human-centric Artificial Intelligence Centre der University of Technology Sydney erprobten ein Verfahren, das rohe EEG-Wellenformen direkt in Sprache umwandelt
- Ching-Ten Lin erklärte, dies sei das erste Beispiel, das ein Verfahren des discrete encoding in den Brain-to-Text-Übersetzungsprozess integriert
- Die Teilnehmenden lasen Textpassagen still, und das KI-Modell DeWave zeigte Wörter auf dem Bildschirm an, wobei es ausschließlich Hirnströme als Eingabe nutzte
- Das Ergebnis wurde auf der jährlichen Konferenz für KI- und Machine-Learning-Forschung, der NeurIPS conference, als Spotlight-Paper ausgewählt
Vorteile des nichtinvasiven Ansatzes und aktuelle Grenzen
- Im Gegensatz zu bisherigen Brain-Signal-to-Language-Technologien benötigt dieser Ansatz weder Hirnimplantate noch MRT-Geräte
- Er kann auch ohne zusätzliche Eingaben wie Eye-Tracking-Software genutzt werden
- Das Forschungsteam hält auch eine Nutzung in Kombination mit anderer Hardware für möglich
- Die Nutzenden müssen lediglich eine Kappe tragen, die per EEG die Hirnaktivität aufzeichnet
- EEG-Signale enthalten mehr Rauschen als die Informationen aus Implantaten
- Der Score nach dem BLEU-Algorithmus liegt bei etwa 0,4
- Yiqun Duan erklärte, dass das Modell beim Abgleich von Verben besser abschneidet als bei Substantiven
- Bei Substantiven tauchten statt exakter Übersetzungen eher Synonyme oder semantisch nahe Wörter auf, etwa „the man“ statt „the author“
- Das Forschungsteam geht davon aus, dass beim Verarbeiten von Wörtern semantisch ähnliche Begriffe ähnliche EEG-Muster erzeugen können
- Das künftige Ziel für die Genauigkeit liegt bei 0,9
- 0,9 wäre ein Niveau, das mit klassischen Sprachübersetzungsprogrammen vergleichbar ist
- An dem Experiment nahmen 29 Personen teil; das wird als mehr als eine Größenordnung über mehreren Versuchen mit anderen Decoding-Techniken bewertet
- Die Ergebnisse wurden auf der NeurIPS präsentiert, das Preprint ist auf ArXiV verfügbar
- Es hat noch kein Peer-Review durchlaufen
1 Kommentare
Meinungen auf Hacker News
Ich habe in Brain-Computer Interfaces promoviert und mit EEG sowie implantierten Elektroden gearbeitet.
Ein großer Teil der BCI-Forschung konzentriert sich darauf, gelähmten Patient:innen wieder Kommunikation zu ermöglichen.
Leider liefert EEG außerhalb von Bedingungen wie einem Labor mit Faraday-Käfig, Rauschunterdrückung über Tage oder Wochen und Entfernung von Augenbewegungs-Artefakten kein ausreichendes Signal-Rausch-Verhältnis, um gute Kommunikationsgeschwindigkeiten zu erreichen.
Das ist eine physikalische Grenze, weil die elektrischen Felder des Gehirns außerhalb des Schädels abgeschwächt werden, und sie ist nicht leicht zu überwinden. Kommerzielle „Gedankenlese“-Spielzeuge funktionieren zum Beispiel tatsächlich auf Basis von Kopf- und Augenmuskelsignalen.
Implantierte Elektroden liefern bessere Signale, brauchen aber noch mehrere Iterationen, bevor sie kommerziell viable werden. Nach einigen Monaten bildet das Gehirn Narbengewebe um die Elektroden, wodurch sich das Signal verschlechtert, und eine Gehirnoperation ist natürlich auch ziemlich riskant.
Tests an Menschen erfordern staatliche Genehmigungen, daher sind auch die Iterationszyklen sehr langsam. Wenn ein gelähmter Freund nur seine Augen bewegen könnte, würde ich mich definitiv auf Eye-Tracking-Technologie konzentrieren. Sie übertrifft jedes BCI, von dem ich je gehört habe.
Außerdem, ob du glaubst, dass gute AI-Algorithmen wie im Artikel dabei helfen können, viel Rauschen herauszufiltern oder zu interpretieren.
Zum Beispiel durch einen Metalldetektor gehen oder ein Smartphone berühren.
Wie erwartet war eine der größten Rauschquellen das Berühren eines an die Stromversorgung angeschlossenen Smartphones.
So etwas wie eine Faraday-Beanie für EEG könnte tatsächlich funktionieren, und mit zusätzlichem First-Person-Video könnten Ärzt:innen vermutlich viel Rauschen herausfiltern.
Dieses Paper selbst wirkt eher wie ein ziemlich starker Beleg dafür, dass bessere Algorithmen das Signal-Rausch-Problem von EEG verbessern können.
Der Patient hatte, glaube ich, eine Schädigung der Nerven im Bereich der Wirbelsäule. Das wirkte wie eine vielversprechende Entwicklung; mich würde interessieren, was du davon hältst.
https://actu.epfl.ch/news/thought-controlled-walking-again-a...
So wie man aus Audio in einem Raum mit Tastatur rekonstruieren kann, was getippt wurde, sollte man die Fähigkeit von Deep Learning, Signale aus Rauschen wieder herauszuziehen, nicht unterschätzen.
Die größte Herausforderung könnte sein, dass die Erstellung von EEG-Daten, die mit dem Signal korreliert sind, relativ teuer ist. Deshalb wird es wohl kaum passieren, dass man einem Modell Millionen Stunden Daten von Menschen zuführt, die bekannte Zielobjekte ansehen oder verarbeiten.
Eye-Tracking-Daten dagegen werden bald massiv zunehmen, weil sie zu einer Kernkomponente neuer Consumer-Hardware werden.
Ground Truth: Bob attended the University of Texas at Austin where he graduated, Phi Beta Kappa with a Bachelor’s degree in Latin American Studies in 1973, taking only two and a half years to complete his work, and obtaining generally excel- lent grades
Vorhersage: was the University of California at Austin in where he studied in Beta Kappa in a degree of degree in history American Studies in 1975. and a one classes a half years to complete the degree. and was a excellent grades
Wow, das sieht aus wie ein primitives Speech-to-Text-System aus den 70er- oder 80er-Jahren. Gehirn-Interfaces verlassen schnell den Bereich der Science-Fiction und werden Realität. Ich bin mir noch nicht sicher, wie ich das einordnen soll.
Die tatsächlichen Ergebnisse stehen in Table 3 und sind deutlich schlechter.
Also ein Gleichgewicht zwischen Bottom-up-Verarbeitung dessen, was das TTS-Modell glaubt, dass die Person „denkt“, und Top-down-Verarbeitung dessen, was ein Grammatikmodell angesichts des bisherigen Gesprächs glaubt, dass eine durchschnittliche Person „als Nächstes sagen“ würde. Wie im echten Neokortex.
Wenn man darüber nachdenkt: Falls es ein Korpus transkribierter Gespräche dieser Person gibt, könnte man das LLM auch darauf trainieren. Das entspräche dann ziemlich genau der Funktion, vorherzusagen, „was diese Person zu diesem Zeitpunkt sagen würde“.
Vielleicht ließen sich sogar zusätzliche Positionen für EEG-Pads finden, die elektrische Folgen der AMPAR- und NMDAR-Wirkung auslesen können. Damit könnte man erkennen, wie stark diese Person gerade auf ihr internes Top-down-Sprachmodell zurückgreift oder ob sie interne Bottom-up-Verarbeitung nutzt, um einen seltsamen, neuen Satz zu bilden, an den sie vorher noch nie gedacht hat; diese Information könnte man nutzen, um die Gewichtung des Einflusses von TTS-Modell und LLM auf die Ausgabe anzupassen.
Irgendjemand wird ganz sicher ein „kostenloses“ BCI herausbringen, das maximal überwacht.
https://www.youtube.com/watch?v=OSV7cxma6_s
„In einer Zeit, in der sich all diese Technologien mit unvorstellbarer Geschwindigkeit weiterentwickeln, wird der Zukunftsforscher Peter Diamandis, auf den man achten sollte, dein Denken erschüttern und dich neue Möglichkeiten und Chancen für Healthspan vorstellen lassen.“
Es gibt die Passage, dass dies „nicht die erste Technologie ist, die Gehirnsignale in Sprache übersetzen kann, aber die bisher einzige, die weder ein Gehirnimplantat noch Zugang zu vollwertiger MRT-Ausrüstung benötigt“
Ich frage mich, ob in 10 bis 20 Jahren, wenn die Sensortechnik gut genug ist und man nicht einmal mehr eine Mütze tragen muss, jemand sagen wird, man könne an öffentlichen Orten vernünftigerweise nicht erwarten, dass die eigenen Gedanken nicht gelesen werden
Überwachungstechnologie neigt im Allgemeinen dazu, normalisiert zu werden, und ich frage mich auch, ob es realistische Grenzen dafür gibt, wie weit das gehen kann
Vor mehr als zehn Jahren gab es die Geschichte, dass Targets Loyalty-Programm-Algorithmus anhand von Korrelationen bei veränderten Einkäufen, etwa dem Wechsel von Duftkerzen zu unparfümierten Kerzen, die Schwangerschaft einer Teenagerin erkannte, bevor sie es ihrer Familie gesagt hatte
Wenn man Social Media, Gesichts- und Blickverfolgung aus CCTV, Gyroskopdaten von Smartphones, Kaufhistorien, Suchhistorien und dieselben Daten vernetzter Bekannter einbeziehen kann, lassen sich mit einem ausreichend breiten Vergleichsdatensatz alle möglichen verborgenen Geheimnisse aufdecken
Das ähnelt der Angst „Mein Smartphone hört meine Gespräche mit“. In Wirklichkeit hört es nicht mit, aber was einem mehr Sorgen machen sollte: Es kann sehr genau modellieren, was du letztlich sagen wirst, ganz ohne dich überhaupt zu belauschen
Ich erwarte nicht allzu viel
Das ist sehr beeindruckend und nützlich und zugleich schrecklich
Alle dachten sofort an Gedankenlesen für Verhöre, aber wie wäre es mit Selbstreflexion? Weil wir uns nicht völlig objektiv selbst analysieren können, gibt es verschiedene Formen von Bildung und Therapie
Wenn man die eigenen Denkmuster außerhalb des Kopfes analysieren könnte, wären alle möglichen Verbesserungen denkbar. Man könnte herausfinden, welche Lerntechniken tatsächlich am wirksamsten sind, objektiv feststellen, wann man am konzentriertesten oder am unkonzentriertesten ist, und genau erkennen, wann ängstliche Gedanken begonnen haben und was sie ausgelöst hat
Vor allem könnte man das privat, mit dem Partner oder selektiv in einer Gruppe tun
Außerdem kann fMRI schon heute als Gehirnscan-Lügendetektor eingesetzt werden. Allerdings gibt es weiterhin viele Fragen zu dessen Legitimität
https://scholarship.law.columbia.edu/cgi/viewcontent.cgi?art...
Schwierig ist nicht nur die Selbstreflexion selbst, sondern auch, sich später für die Analyse daran zu erinnern, worüber man reflektieren wollte, und die Ereignisse aufzuschreiben. Das setzt voraus, dass man der Genauigkeit vertrauen kann
Erstaunlich, dass man angesichts eines ethischen Lochs von kosmischen Ausmaßen direkt zu den Vorteilen übergehen kann
Aber vielleicht liegt das in der Natur von Technikoptimisten
Das erinnert mich an Silent Talk von DARPA vor 14 Jahren
Ziel war es, „durch Analyse neuronaler Signale Kommunikation zwischen Nutzern auf dem Schlachtfeld ohne gesprochene Sprache zu ermöglichen“
https://www.engadget.com/2009-05-14-darpa-working-on-silent-...
Das ist sehr beeindruckend und nützlich und zugleich schrecklich
Es dürfte Schlaganfallpatienten helfen, aber zugleich kann ich mir vorstellen, dass es problematisch wird, weil es ungefilterte Gedanken ausgeben könnte
Mit Neuralink ist das kein Problem. Man lädt einfach seine Gedankenspuren direkt hoch
Selbst wenn es falsche Gedanken gibt, muss man sich keine Sorgen machen. Es gibt Reha-Schulen, die den Geisteszustand ändern
Nicht vergessen: Man muss glücklich sein. Traurigsein ist verboten
Im Moment ist es nur lesend, aber wie wäre es mit Schreiben?
Das könnte auch neue Möglichkeiten wie eine reale Matrix eröffnen
Übrigens, hast du von Lightspeed Briefs gehört?
Natürlich ist die Forschung selbst hervorragend und wird nützlich werden. Langfristig ist das Potenzial für politischen Missbrauch aber enorm
Für Patienten mit Locked-in-Syndrom wäre das ein kaum vorstellbarer positiver Nutzen, aber zugleich ist es auch so eine Geschichte, bei der man denkt: „Hört bitte auf, den Torment Nexus zu erfinden!“
Wenn ich nicht etwas Großes übersehe, wäre eine Blind-Kontrollvorführung überzeugend, bei der die Versuchsperson das Wort auf Papier schreibt und man später die Ergebnisse vergleicht.
Leider wirkte die in dem Artikel gezeigte Vorführung so, als könnten das auch professionelle Zauberer oder Mentalisten hinbekommen.
Es stimmt wohl, dass wir Brain Interfaces näherkommen, aber an diesem Beispiel ist irgendetwas seltsam.
Nehmen wir an, in ein paar Jahren behauptet jemand, einen Flughafenscanner erfunden zu haben, der „böse Gedanken“ erkennt. Es gibt aber keine Möglichkeit zur Verifikation und niemand übernimmt Verantwortung für False Positives oder False Negatives. Das Ergebnis ist genau das, was der Betreiber sagt.
Wenn genügend Menschen das akzeptieren, ohne sich zu widersetzen, und sogar die erkannten Personen angreifen, spielt es keine Rolle, was echt ist. Es wird einfach zu einem gemeinsam vollzogenen empathischen Zauberritual. Ich habe das Gefühl, dass es in jüngerer Erinnerung Beispiele mit einer ähnlichen Dynamik gibt.
Ich frage mich, ob auch nichtsprachliches Denken möglich wäre.
Könnte man auf Basis eines Datensatzes von Signalen, die mit Alltagsaktivitäten verknüpft sind, vielleicht herausfinden, was ein Hund denkt oder träumt?
Eine Ausgabe zu erzeugen, die körperlich erlebte Erfahrungen ausdrückt, dürfte eine schwer korrekt zu bauende und zu interpretierende Aufgabe sein. Allerdings ließe sich ein Datensatz von mit Körpererfahrungen verknüpften Signalen mithilfe von Vision-Language Models vielleicht einfacher und robuster mit sprachlichen Beschreibungen annotieren.
Dann könnte ein Modell zum Lesen von Hundegedanken diese sprachlichen Beschreibungen vorhersagen und ausgeben.
Man kann sich vorstellen, konkret zu erfahren, in welchen Park der eigene Hund gehen möchte, ob er subtile frühe Anzeichen einer Krankheit oder Verletzung spürt oder welche Leckerlis er gekauft haben will.
Zur Einordnung: Das Basismodell, das dieses Paper verwendet, hat einen Code-Bug, wodurch die Baseline-Ergebnisse aufgebläht wurden.
Das Problem wird derzeit untersucht.
https://github.com/duanyiqun/DeWave/issues/1
Abgesehen von den furchtbaren Implikationen ermöglicht das hier etwas ziemlich Cooles: bidirektionale telepathische Kommunikation.
Man denkt eine Nachricht und denkt „Senden“, und hört dann die Antwort über Earbuds. Mit Voice Cloning könnte man die Nachricht sogar in der Stimme des Absenders erhalten.
Für externe Beobachter wäre das völlig lautlos und unsichtbar.
Ich wäre sehr gespannt auf Ergebnisse, bei denen die Hardware dieses Systems als eine Art Wandler genutzt wird: Man lässt also das Machine-Learning-Modell hier rückwärts vom Zieltext laufen und schiebt die resultierenden niedrigen elektrischen Signale als transkranielle Gleichstromstimulation über EEG-Pads wieder hinein.
Wenn eine Person diesen Text dann als sprachlichen Gedanken in ihrer inneren Stimme „hören“ würde, wäre das wirklich interessant.
Damals war der GameBoy Color das Coolste auf der Welt.
Tomb Raider auf der PsOne sah hochauflösend aus, so etwas wie Hochauflösung gab es eigentlich nicht, und ich dachte, wir seien am Gipfel des Gamings angekommen.
Apple Pro One versucht, Computer zu verräumlichen, und wir finden Telepathie cool.
Es wäre schön, beim Laufen durch den Wald oder beim Tauchen jeweils 10 Sekunden lang nur mit dem Geist coden zu können.
Es wäre schön, ein Bild zu empfangen, das jemand anderes im Kopf erzeugt hat, es vor den eigenen Augen erscheinen zu lassen und es den Leuten um einen herum zu zeigen: „Hey, schaut mal, was Julia gemacht hat.“
Eigentlich ist das genau dasselbe, was bereits passiert, nur unmittelbarer. Ersetzt das Smartphone durch den Geist und den Bildschirm durch die Umgebung, und man ist in dieser Zukunftswelt.
Wenn es nur wegen der Neuheit cool wirkt, wäre es dann nicht auch cool, wieder Code in Lochkarten zu stanzen oder Zeilen im Terminal mit ed zu schreiben?
Vor ein paar Jahren bin ich bei der DAW-Musikproduktion auf zehn Synthesizer aus den Jahren 1970 bis 1984 und eine Bandmaschine umgestiegen; das war viel cooler, und ich habe nicht vor zurückzugehen.
Aber produziere ich so schnell wie früher? Nein.
Der Grund, warum ich Code nur mit meinem Geist und virtuellen schwebenden Screens schreiben möchte, ist – abgesehen von ein paar Tagen Coolness durch die Neuheit – genau einer:
Ich möchte weniger arbeiten, genauer gesagt: weniger am Arbeitsplatz sein.
In der Praxis wird man mich aber auffordern, mehr Arbeit zu produzieren. Es wird Pflicht werden, nur mit der Kraft des Geistes und mit fünf oder sechs virtuellen Bildschirmen um einen herum zu arbeiten.
Und das war’s dann. Bis die nächste neue Erfindung cool aussieht.
Zum Beispiel intrusive Gedanken, Ohrwürmer, Geheimnisse und dergleichen.
Die unbeabsichtigten Folgen dieser Technologie werden jede Vorstellungskraft übersteigen.