Mit EEG nachgewiesene gleichzeitige Kodierung zweier Sprachströme im Gehirn

• Die Analyse von EEG-Daten von 24 normalhörenden Erwachsenen zeigte, dass beim Wechsel der Aufmerksamkeit das neuronale Tracking des neuen Sprechers beginnt, bevor das Tracking des bisherigen Sprechers abreißt, sodass beide Stimmen vorübergehend gleichzeitig repräsentiert sind
• Die Sprachhüllkurven sowie Wortanfangs- und Vorhersageinformationen beider Sprecher wurden mit zeitlichen Antwortfunktionen (TRF) modelliert; selbst mit einem 1-Sekunden-Decodierfenster ließ sich der beachtete Sprecher signifikant genauer als auf Zufallsniveau bestimmen
• Die Hinwendung zum neuen Sprecher begann und endete signifikant früher als die Abwendung vom bisherigen Sprecher; diese Asymmetrie von Hinwendung und Abwendung blieb auch in gleitenden Fenstern von 1, 2, 4, 8 und 16 Sekunden bestehen
• Nach dem Aufmerksamkeitswechsel sank die EEG-Alpha-Band-Leistung, und ihr Tiefpunkt trat später auf als der Umschaltpunkt der Sprachkodierung, was einen zeitlichen Zusammenhang zwischen dem Tracking des neuen Sprechers und Höranstrengung zeigt
• Beim Vergleich von vier Strategien für den lexikalischen Kontext mit Mistral-7B-v0.1 sagte die Entropie des Reset-Modells, das den vorherigen Kontext verwirft, das EEG am besten voraus; daraus lässt sich aber nicht sicher ableiten, dass auch Menschen ihren Kontext zurücksetzen

---

Forschungsfrage und Versuchsaufbau

• In Umgebungen mit mehreren Sprechern muss die Aufmerksamkeit auf einen Sprecher gehalten und zugleich schnell auf einen anderen umgeschaltet werden, doch bisherige neurophysiologische Forschung konzentrierte sich meist auf anhaltende Aufmerksamkeit
• Der Aufmerksamkeitswechsel wurde in Abwendung (disengagement), also abnehmendes neuronales Tracking des bisherigen Sprechers, und Hinwendung (engagement), also zunehmendes Tracking des neuen Sprechers, aufgeteilt, um die zeitliche Beziehung beider Prozesse zu untersuchen
• Teilgenommen haben 24 englische Muttersprachler mit normalem Hörvermögen im Alter von 18 bis 39 Jahren; sie hatten keine neurologischen oder psychiatrischen Vorerkrankungen und normale oder korrigierte Sehkraft
• Sechs Lautsprecher wurden in einer kreisförmigen Anordnung mit einem Radius von 1,5 m platziert
  • Vorn links und rechts bei jeweils ±30° wurden unterschiedliche TED-Talk-Sprachsignale mit jeweils 60 dB SPL abgespielt
  • Über die vier hinteren Lautsprecher wurde jeweils 16-Sprecher-Babble-Rauschen, gemischt aus je vier Personen, mit 54 dB SPL wiedergegeben, sodass das SNR von Vordergrund zu Hintergrund 3 dB betrug
• Die Teilnehmenden absolvierten 20 Durchgänge à 180 Sekunden und wechselten dabei anhand von Pfeilen auf dem Bildschirm pro Durchgang sechsmal ihre Aufmerksamkeit zwischen linkem und rechtem Sprecher
  • Die Phasen anhaltender Aufmerksamkeit waren in halbzuffälligen Intervallen angeordnet
  • Als Vordergrundreize wurden 40 TED Talks von 20 Männern und 20 Frauen verwendet
  • Nach jedem Durchgang beantworteten sie Fragen zum Inhalt, zum bevorzugten Sprecher und zur Schwierigkeit des Wechsels

Verhaltensergebnisse und Aufmerksamkeits-Decodierung

• Wegen eines technischen Problems fehlten die Verhaltensdaten einer Person; bei den 23 ausgewerteten Personen lag die mittlere Genauigkeit bei den Inhaltsfragen bei 86,3 %
• Der Anteil der Präferenz für die linke Stimme war mit durchschnittlich 49,79 % ausgeglichen, und die Schwierigkeit des Wechsels lag im Mittel bei 3,1 von 5 Punkten
• Das 64-Kanal-EEG wurde mit 512 Hz aufgezeichnet, nach der Vorverarbeitung auf 64 Hz heruntergesampelt, und die verzögerte lineare Beziehung zwischen Sprache und EEG wurde mit zeitlichen Antwortfunktionen (TRF) modelliert
• Mit einer inversen TRF wurde aus dem EEG die Sprachhüllkurve des beachteten Ziels rekonstruiert und anschließend mit den linken und rechten Sprachsignalen korreliert
  • Verwendet wurden Decodierfenster von 1, 2, 4, 8, 16 und 32 Sekunden
  • Mit längeren Fenstern stieg die Klassifikationsleistung, doch alle Bedingungen einschließlich des 1-Sekunden-Fensters lagen signifikant über dem 95. Perzentil der Zufallsverteilung aus 100 zufälligen Permutationen der Labels
• Auch in dynamischen Wechselsituationen ließ sich der beachtete Sprecher durch Rekonstruktion der Sprachhüllkurve aus dem EEG stabil verfolgen

Die Hinwendung zum neuen Sprecher ist schneller als die Abwendung vom bisherigen

• Die vorwärtsgerichtete multivariate TRF umfasste Sprachhüllkurve, Wortanfänge und Wortüberraschung; die Korrelation zwischen realem und vorhergesagtem EEG wurde mit gleitenden Fenstern berechnet
• Vor dem Wechsel wurde die Stimme des bisherigen Sprechers stärker verfolgt, nach dem Wechsel das Tracking des neuen Sprechers stärker, im Einklang mit der visuellen Aufmerksamkeitsanweisung
• Für die Zeitanalyse wurden 21 Personen verwendet, die vor und nach dem Wechsel eine verlässliche Aufmerksamkeitsverzerrung von mehr als 50 % zeigten
  • Bei den ausgeschlossenen Teilnehmenden konnten Beginn und Ende von Abwendung und Hinwendung nicht geschätzt werden
  • Auch in Folgeanalysen unter Einbezug der drei Ausgeschlossenen blieb das qualitative Muster einer früheren Hinwendung erhalten, die statistische Signifikanz verschwand jedoch
• Für jede Person wurden segmentweise lineare Regressionen auf die EEG-Vorhersagekorrelationen angewendet, um Beginn und Ende von Abwendung und Hinwendung zu schätzen
  • Im 4-Sekunden-Fenster begann die Hinwendung zum neuen Sprecher signifikant früher als die Abwendung vom bisherigen Sprecher
  • Auch das Ende der Hinwendung trat signifikant früher ein als das Ende der Abwendung
• Auch bei gemeinsamer Analyse der Fenster von 1, 2, 4, 8 und 16 Sekunden blieb die Asymmetrie von Hinwendung und Abwendung bestehen
  • Mit längeren Fenstern wurden längere geschätzte Umschaltzeiten beobachtet
  • Die zeitliche Glättung durch gleitende Fenster kann den Wechsel strecken, erzeugt aber nicht die Asymmetrie der beiden Prozesse selbst
• In dem kurzen Zeitraum, in dem das Tracking des neuen Sprechers bereits zunimmt, bevor das Tracking des bisherigen Sprechers abnimmt, sind beide Sprachströme gleichzeitig neuronal repräsentiert

Alpha-Band und Höranstrengung

• Als Maß für Höranstrengung wurde die ereignisbezogene spektrale Veränderung (ERSP) im Alpha-Band von 8–12 Hz rund um den Aufmerksamkeitswechsel verwendet
• Während des Wechsels nahm die Alpha-Leistung im okzipito-parietalen Bereich signifikant ab, und etwa 4,5 Sekunden nach dem Wechselsignal wurde ein starker Abfall gemessen
• Im 4-Sekunden-Fenster lag das Minimum der Alpha-ERSP signifikant später als der Kodierungs-Umschaltpunkt, an dem sich die EEG-Vorhersagekorrelationen der beiden Sprecher kreuzen
  • Dieselbe Reihenfolge blieb auch bei mehreren Fensterlängen erhalten
  • Das Alpha-Minimum entsprach ungefähr dem Zeitpunkt, an dem die Hinwendung zum neuen Sprecher abgeschlossen war, lag aber vor dem Abschluss der Abwendung vom bisherigen Sprecher
• Diese zeitliche Beziehung lässt offen, ob Alpha-Leistung mit der Anstrengung zur erneuten Fokussierung auf den neuen Sprecher, mit aktiver Unterdrückung des neuen Störsprechers oder mit einer Kombination beider Prozesse zusammenhängt
• Wenn sich genügend akustischer und sprachlicher Kontext des neuen Stroms angesammelt hat, könnte das Tracking leichter werden und kognitive Ressourcen könnten freiwerden; das muss jedoch noch anhand unterschiedlicher Wechsel-Schwierigkeiten geprüft werden

Vier Modelle für lexikalischen Kontext

• Da sich mit einem Wechsel des Aufmerksamkeitsziels auch der semantische Kontext für lexikalische Vorhersagen ändert, wurden Wortüberraschung und Entropie mit Mistral-7B-v0.1 berechnet
  • Überraschung beschreibt, wie unerwartet das aktuelle Wort im gegebenen vorherigen Kontext ist
  • Entropie beschreibt die Unsicherheit der Vorhersage des nächsten Wortes
• Verglichen wurden vier Strategien zur Kontextakkumulation
  • Oracle: nutzt alle früheren Äußerungen des aktuellen Sprechers unabhängig davon, ob ihnen Aufmerksamkeit geschenkt wurde, und erkennt den Wechsel nicht
  • Speaker-Specific: nutzt nur frühere Aufmerksamkeitsphasen desselben Sprechers
  • Attention: nutzt alle zuvor beachteten Segmente unabhängig vom Sprecher
  • Reset: verwirft den gesamten Kontext vor dem Wechsel und akkumuliert neuen Kontext nur im aktuell beachteten Segment
• Direkt nach dem Wechsel stieg die Entropie des Reset-Modells am stärksten an und sank dann mit fortlaufenden Wörtern wieder
  • Attention und Speaker-Specific waren einander ähnlich und stabiler
  • Beim wechselblinden Oracle gab es vor und nach dem Wechsel kaum Veränderungen
  • Im Gesamtmittel lag die Reset-Entropie über Oracle und unter Attention sowie Speaker-Specific, also im mittleren Bereich

EEG-Vorhersageergebnisse des Reset-Modells

• Im Vergleich zu einer Basis-TRF nur mit akustischen Merkmalen zeigten die um Entropie erweiterten Modelle Speaker-Specific, Attention und Reset eine signifikante Verbesserung der Vorhersage, Oracle dagegen nicht
• Auch bei Verwendung von Überraschung wurde in den drei Modellen außer Oracle eine Kodierung semantischer Information bestätigt
• Entgegen der Erwartung war das entropiebasierte Reset-Modell bei der EEG-Vorhersagekorrelation signifikant besser als Oracle, Speaker-Specific und Attention
  • Die TRF-N400-Amplitude bei 350–550 ms war bei Reset geringer als bei den anderen drei Modellen
• In der überraschungsbasierten Analyse lag Reset über Oracle, aber die Vergleiche mit den übrigen Modellen waren nicht signifikant; auch bei der TRF-N400-Amplitude gab es keine signifikanten Unterschiede
• Entropie spiegelt die Unsicherheit über kommende Wörter wider, Überraschung dagegen die Reaktion auf bereits aufgetretene Wörter; dieser Unterschied könnte die Ergebnisse beeinflusst haben
  • Die Teilnehmenden erhielten ein Wechselsignal und erwarteten daher eine andere Stimme, das LLM erhielt jedoch kein solches Signal, sodass Überraschung bei Menschen und Modell nicht übereinstimmen muss
  • Mistral ist nur für die Vorhersage des nächsten Wortes optimiert und nicht auf neurophysiologische Plausibilität ausgelegt
• Die Ergebnisse sind damit vereinbar, dass Menschen beim Wechsel ihren lexikalischen Kontext zurücksetzen könnten, lassen aber auch die Möglichkeit offen, dass Menschen und LLMs sprachliche Diskontinuitäten völlig unterschiedlich verarbeiten

Grenzen und mögliche Anwendungen

• Die mit gleitenden Fenstern berechneten Zeiten für Hinwendung und Abwendung hängen von der Fensterlänge ab und sollten daher nicht als absolute neuronale Verarbeitungszeiten, sondern als relative Zeiten zwischen den Prozessen interpretiert werden
• Die angeleitete Wechselaufgabe ist weniger natürlich als reale Gespräche und kann durch die Aufforderung, Störstimmen zu überwachen, andere Strategien erzeugen als Aufgaben mit anhaltender Aufmerksamkeit
• Die Asymmetrie kann je nach kognitiver Belastung, Alter, kognitiven Fähigkeiten, Hörproblemen, Interesse am Sprachinhalt, Wechselhäufigkeit und Aufgabenmerkmalen variieren
• Statt den vorherigen Kontext vollständig zu verwerfen, könnte er auch in abstrahierter Form, etwa als Kernaussage einer Geschichte, erhalten bleiben
  • Verglichen werden könnten ein für Satzvorhersage optimiertes Large Concept Model oder Modelle, die kurzen Token-Kontext mit Zusammenfassungen der Vergangenheit kombinieren
• Die Methode zur getrennten Erfassung sprecherspezifischer Kodierungsänderungen ist feiner als eine bloße Aufmerksamkeitsklassifikation und kann in der Forschung zu kognitiv gesteuerten Hörgeräten sowie bei Vergleichen zwischen Alters- und Hörgruppen genutzt werden
• Vorverarbeitetes EEG, Analysedateien, Code und Sprachreize sind auf Zenodo öffentlich verfügbar

[GN⁺]

Hacker-News-Kommentare

• Das erinnert an Richard Feynmans Geschichte, wie er experimentierte, was man gleichzeitig tun kann, wenn man im Kopf 60 Sekunden zählt. Feynman konnte beim Zählen lesen, aber nicht sprechen; bei John Tukey war es umgekehrt: Er konnte sprechen, aber nicht lesen
  Der Grund war, dass Tukey die Zahlen visualisierte, während Feynman sie innerlich aussprach. Selbst bei derselben Zahlenfolge laufen die Prozesse im Kopf je nach Person unterschiedlich ab, und durch Beobachtung dessen, was man beim Zählen tun kann oder nicht, lässt sich das objektiv überprüfen
  Feynman dachte auch darüber nach, dass er selbst und seine Studenten die Buchstaben in Gleichungen möglicherweise völlig unterschiedlich wahrnehmen, etwa wenn er Bessel-Funktionen farbig sieht
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Wenn ich meine Tochter zum Einschlafen getragen und dabei gesungen habe, zählte ich oft 300 Schritte. Wenn ich statt eines inneren Monologs die Zahlen visualisierte, konnte ich gleichzeitig singen und zählen. Es erforderte aber mehr Konzentration, und wenn ich sehe, dass sie jetzt allein einschläft, vermisse ich diese Zeit manchmal
  • Wenn ich nicht gerade lese, kann ich Hörbüchern auch ohne große Konzentration folgen. Beim Lesen mache ich wohl subvokales Lesen, deshalb kann ich Hörbuch und Lesen nicht gleichzeitig. Ich lese lieber, indem ich jedes Wort einzeln wahrnehme, statt schnellzulesen
  • Das scheint mit der Tatsache zusammenzuhängen, dass die linke und rechte Gehirnhälfte unterschiedliche kognitive Funktionen und die Motorik der jeweils gegenüberliegenden Körperseite steuern und über den Balken kommunizieren. Bei Split-Brain-Patienten mit durchtrenntem Balken handeln die beiden Hemisphären teils unabhängig, wie man in Experimenten von Michael Gazzaniga und Roger Sperry sehen kann
    Feynmans Experiment zeigt, dass sich intern entwickelte Verarbeitungsweisen von außen überprüfen lassen, und das Farbeempfinden bei mathematischen Symbolen könnte darauf beruhen, dass die rechte Hemisphäre den logischen Problemen der linken eigene Identifikatoren zuweist
  • Ich frage mich, ob es denselben Grund hat, dass ich beim Musikhören weder arbeiten noch lesen und mich konzentrieren kann, oder ob Musik einfach die ganze Aufmerksamkeit auf sich zieht
  • Einem Kind ein Schlaflied vorzusingen und dabei zu lesen ist sehr leicht, aber beim Versuch, im Kopf zu zählen und gleichzeitig zu sprechen, fühlte es sich wie gegen eine Wand an und war unmöglich

• Ich kann ein Bilderbuch laut vorlesen und dabei einen völlig anderen Gedankengang weiterführen. Allerdings sickern Fehler in das Vorlesen durch, etwa dass ich Wörter durch solche aus dem anderen Gedanken ersetze

  • Wenn mein Vater, ein Physiker, beim Vorlesen einschlief, wurden die Geschichten plötzlich unsinnig und voller schwieriger physikalischer Fachbegriffe, sodass man es sofort merkte
  • Ich kann meinem Kind jeden Abend etwa 15 Minuten lang ein Buch vorlesen und dabei über andere Probleme nachdenken, aber in diesem Zustand kann ich der Handlung nicht folgen. Wenn das Kind fragt: „Papa, warum hast du das Fahrrad gestohlen?“, bricht jede Tarnung zusammen
  • Ich habe den Kindern Dutzende Bücher vorgelesen, darunter Enid-Blyton-Bücher, und konnte dabei gleichzeitig über Arbeit oder Haushalt nachdenken. Dann merkte ich, dass ich dem Gelesenen mehrere Minuten lang überhaupt nicht gefolgt war und wieder von vorn anfangen musste; es scheint, als arbeite die phonologische Schleife, also der Weg von Augen und Mund, unabhängig von den Pfaden für Gedächtnis, Verarbeitung und exekutive Kognition
  • Wenn wir in der Schule reihum aus dem Lehrbuch vorlasen, konzentrierte ich mich nur auf Stimme und zur Interpunktion passende Betonung. Nach einem Absatz musste ich ihn still noch einmal lesen, um den Inhalt zu verstehen, und auch heute muss ich bei komplexen Texten zum verstehenden Vorlesen beide Verarbeitungsströme nutzen
  • Wenn mehr kognitive Ressourcen in andere Gedanken fließen, merke ich manchmal, dass ich die ganze Zeit laut weitergelesen habe, obwohl ich dafür überhaupt keine bewusste Anstrengung unternommen hatte

• Als Pilot und Funker überrascht mich das Ergebnis nicht, weil ich immer zwei Sprachströme gleichzeitig verarbeiten konnte

  • Lotsen in Kontrollzentren und TRACON überwachen auf beiden Ohren mehrere Frequenzen und müssen es auch verarbeiten, wenn ein Pilot den Funkverkehr auf einer anderen Frequenz überdeckt. Bei der Übergabe kommt noch interne Kommunikation hinzu, und der Funkinhalt hat keine Informationsdichte wie ein Wochenend-Barbecue-Gespräch, sondern eher METAR-Niveau
  • Als Lehrer führe ich manchmal gleichzeitig Gespräche mit mehreren Kindern. Solange keine tiefe Konzentration nötig ist, geht das, aber es ist anstrengend, daher vermeide ich es möglichst
  • Ich frage mich, ob mehrere Stimmen im Headset zentral oder mono übereinanderliegen oder ob sie auf linkes und rechtes Ohr getrennt werden

• Viele Achtsamkeitspraktiken scheinen die innere Stimme zu beruhigen, indem sie die Aufmerksamkeit gleichzeitig auf zwei Dinge richten. In George Gurdjieffs The Fourth Way und in den Aufzeichnungen von P. D. Ouspensky wird beschrieben, dass eine Art meditationsähnlicher Bewusstseinszustand entsteht, wenn man den Aufmerksamkeitsstrom sättigt, indem man sich auf zwei Objekte konzentriert
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • Vielleicht macht genau deshalb das Hören einer Fuge so viel Freude

• Im Studium ging ich auf Partys oft zwischen mehreren Gesprächen hin und her und nahm gleichzeitig an ihnen teil. Nicht, weil ich besonders gut darin war, sondern weil ich alle Gespräche um mich herum hörte und, wenn in mehreren Gruppen etwas Interessantes gesagt wurde, ständig zwischen den Gesprächen wechselte, weil ich nichts verpassen wollte

• Wenn wir nicht mehrere sensorische Ströme verarbeiten könnten, könnten wir weder Gefahren im Hintergrund überwachen noch Kontextwechsel vollziehen. Bewusste Erfahrung und Hintergrundverarbeitung sind verschieden

  • Mehrere Ströme zu verarbeiten ist etwas anderes, als gleichzeitig seriell zu verarbeiten. Wie ein Single-Core-CPU mehrere Threads behandelt, kann Ersteres auch durch kurzes Hin- und Herspringen zwischen A und B per Zeitscheiben gelingen
    Dass das Gehirn mehrere Ströme tatsächlich gleichzeitig fortlaufend verarbeitet und kodiert, hilft beim Verständnis des genauen Mechanismus von Multitasking; deshalb ist die Forschung wertvoll, auch wenn das Ergebnis selbstverständlich wirkt
  • Hier geht es nicht um allgemeine multisensorische Verarbeitung, sondern um die Verarbeitung mehrerer Sprachströme
  • Die Bedeutung eines Textes zu verstehen und in einem Signal Gefahr zu erkennen, sind auch qualitativ unterschiedliche Ebenen der Verarbeitung

• Ich dachte, das sei längst bekannt. Mein Problem ist eher, dass ich die Worte anderer nicht ausblenden kann: Selbst wenn ich mit jemandem spreche, höre ich die Gespräche um mich herum Wort für Wort mit

• Dass Teams in der Apollo-Missionskontrolle darauf trainiert wurden, mehrere Gesprächsströme gleichzeitig zu verarbeiten, ist bekannt, aber sie konnten das nicht mehr abschalten, weshalb Cocktailpartys zum Albtraum wurden

  • Wahrscheinlich haben Fluglotsen sowie ähnliche Berufe bei Bahn und U-Bahn dieselben Schwierigkeiten
  • Wenn ich mit Verwandten esse, sprechen alle gleichzeitig, und die meisten beteiligen sich an zwei Gesprächen. Meine Schwester, die fürs Studium ausgezogen war, brauchte Wochen, um sich diese Gewohnheit wieder abzugewöhnen, und sagte während ihrer Besuche bei den Mahlzeiten gar nichts mehr
  • Ich würde gern einen Link sehen, der die Quelle dieser Anekdote bestätigt

• Eine der legendären übernatürlichen Fähigkeiten des Pythagoras war Bilokation, also gleichzeitig in zwei Städten zu erscheinen und zu lehren. Immer wenn ich mich bei gesellschaftlichen Anlässen gleichzeitig an mehreren Gesprächen beteilige, muss ich an Pythagoras denken

• Als Animation und Ton erstmals kombiniert wurden, empfanden Menschen das Geräusch „tick“ als zu spät, wenn es exakt in dem Moment abgespielt wurde, in dem das Pendel den Endpunkt erreichte. Der Grund soll sein, dass es etwa 1/16 Sekunde dauert, die Aufmerksamkeit von einem Reiz auf einen anderen zu verlagern
  Weitere Beobachtungen zur Zeitwahrnehmung gibt es unter https://en.wikipedia.org/wiki/Time_perception

  • Auch die Ausbreitungsgeschwindigkeit von Schall selbst ist langsam
  • Das tatsächliche Ticken einer Uhr tritt ohnehin auf, bevor das Pendel den Endpunkt erreicht