Ask HN: Wie trennt der Browser internes Audio vom Mikrofoneingang?

• Es wurde beobachtet, dass bei gleichzeitiger Nutzung eines Google-Meet-Anruf-Tabs und eines YouTube-Wiedergabe-Tabs in Chrome und Chromium das interne Audio von YouTube nicht in den Mikrofoneingang von Google Meet gelangt
• Wenn dieselbe Aufgabe auf verschiedene Browser aufgeteilt wird, z. B. Google Meet in Chrome geöffnet und YouTube in Chromium abgespielt wird, tritt diese Audiotrennung nicht auf
• Da Chromium Open Source ist, wird nach technischen Hinweisen gesucht, wo sich der entsprechende Teil der Codebasis befindet oder wie diese Implementierung umgesetzt ist

[GN⁺]

Hacker-News-Kommentar

• Methode, Musik aus Sprache zu entfernen, indem die Verzögerung zwischen Sprachaufnahme und Wiedergabe verglichen wird

  • Dabei wird die Latenz zwischen Mikrofon und Lautsprecher ermittelt und verglichen, um die Musik zu entfernen
  • Innerhalb eines einzelnen Prozesses wird das über einige hundert Millisekunden Wiedergegebene behalten, mit dem Mikrofoneingang verglichen, die Korrelation gefunden und dann entfernt
  • Zwischen nicht zusammenhängenden Prozessen kann das Betriebssystem eine Capture-API bereitstellen oder die Entfernung über einen Loopback-Stream ermöglichen
  • Wenn es solche Methoden nicht gibt, wird die Audioausgabe direkt gemischt und dann entfernt

• Acoustic Echo Cancellation (AEC)

  • In Chrome implementiert, das WebRTC enthält
  • Verwendet einen FIR-Filter, um den aus den Lautsprechern kommenden Ton so weit wie möglich aus dem Mikrofoneingang zu entfernen
  • Wenn man im Chromium-Quellcode nach dem Compile-Flag CHROME_WIDE_ECHO_CANCELLATION sucht, findet man dazu relevante Informationen

• Problem von Chrome bei gleichzeitiger Aufnahme und Wiedergabe

  • Chrome verarbeitet gleichzeitige Aufnahme und Wiedergabe nicht besonders gut
  • Es gibt eine Website, die das Problem deutlich zeigt: chrome-please-fix-your-audio.xyz

• Allgemeine Probleme der Acoustic Echo Cancellation

  • Ein häufig auftretendes Problem in der Signalverarbeitung
  • Tritt auch bei einfachen Geräten wie Telefonen auf

• Technologie zur Quellentrennung in Google Meet

  • Verwendet neuronale Netze, um Sprache von Nicht-Sprache zu trennen und auch andere Sprecher zu separieren
  • Seit 2021 hat sich die Technik mit der Entwicklung semiüberwachter Lernmethoden stark verbessert

• Nebenwirkungen der Echounterdrückung

  • Der Browser kennt das gerade wiedergegebene Audio, sucht die Korrelation mit dem Mikrofoneingang und entfernt es
  • Wenn keine Kopfhörer verwendet werden, ist das nötig, um Feedback zu unterdrücken

• Funktion zur Unterdrückung internen Audios in Chrome und Chromium

  • Selbst wenn während eines Google-Meet-Anrufs in einem anderen Tab ein YouTube-Video abgespielt wird, erkennt Meet dieses nicht
  • Da Chromium Open Source ist, lassen sich die technischen Details im Code nachsehen

• Interessante Aspekte von Algorithmen zur Echounterdrückung

  • Wenn externe Lautsprecher in geringem Abstand zum Computermikrofon aufgestellt werden, kann der Algorithmus fehlerhaft arbeiten

• Notwendigkeit der Echounterdrückung während Konferenzen

  • Sie ist nötig, damit Konferenzdaten nicht wieder als Feedback eingespeist werden
  • PulseAudio und PipeWire verfügen über Module zur Echounterdrückung