HN-Frage: Wie Browser internes Audio vom Mikrofoneingang isolieren

• In Chrome und Chromium wurde eine interessante Funktion entdeckt

  • Es gibt eine Funktion, die internes Audio vom Mikrofoneingang trennt
  • Wenn man zum Beispiel in einem Tab einen Google-Meet-Anruf führt und in einem anderen Tab ein YouTube-Video mit maximaler Lautstärke abspielt, wird der Ton des Videos nicht an Google Meet übertragen
  • Verwendet man einen anderen Browser dafür (z. B. Google Meet in Chrome und YouTube in Chromium), findet diese Trennung nicht statt

• Es stellt sich die Frage, wie Chrome und Chromium diese Audiotrennung implementieren

  • Da Chromium Open Source ist, wäre es interessant, den konkreten Teil der Codebasis zu kennen, der diese Funktion verarbeitet
  • Für technische Details oder Einblicke wäre man dankbar

GN⁺-Zusammenfassung

• Dieser Artikel behandelt eine interessante Entdeckung zur Audioisolation in Chrome und Chromium
• Diese Funktion ist ein wichtiger Faktor zur Verbesserung der Nutzererfahrung und besonders nützlich, wenn mehrere Aufgaben gleichzeitig ausgeführt werden
• Die Open-Source-Codebasis von Chromium bietet die Möglichkeit, die technische Implementierung zu verstehen
• Es lohnt sich zu untersuchen, ob es andere Browser oder Software mit ähnlichen Funktionen gibt

[GN⁺]

Hacker-News-Kommentar

• Methode, Musik aus Sprache zu entfernen, indem die Verzögerung zwischen Sprachaufnahme und Wiedergabe verglichen wird

  • Dabei wird die Latenz zwischen Mikrofon und Lautsprecher ermittelt und verglichen, um die Musik zu entfernen
  • Innerhalb eines einzelnen Prozesses wird das über einige hundert Millisekunden Wiedergegebene behalten, mit dem Mikrofoneingang verglichen, die Korrelation gefunden und dann entfernt
  • Zwischen nicht zusammenhängenden Prozessen kann das Betriebssystem eine Capture-API bereitstellen oder die Entfernung über einen Loopback-Stream ermöglichen
  • Wenn es solche Methoden nicht gibt, wird die Audioausgabe direkt gemischt und dann entfernt

• Acoustic Echo Cancellation (AEC)

  • In Chrome implementiert, das WebRTC enthält
  • Verwendet einen FIR-Filter, um den aus den Lautsprechern kommenden Ton so weit wie möglich aus dem Mikrofoneingang zu entfernen
  • Wenn man im Chromium-Quellcode nach dem Compile-Flag CHROME_WIDE_ECHO_CANCELLATION sucht, findet man dazu relevante Informationen

• Problem von Chrome bei gleichzeitiger Aufnahme und Wiedergabe

  • Chrome verarbeitet gleichzeitige Aufnahme und Wiedergabe nicht besonders gut
  • Es gibt eine Website, die das Problem deutlich zeigt: chrome-please-fix-your-audio.xyz

• Allgemeine Probleme der Acoustic Echo Cancellation

  • Ein häufig auftretendes Problem in der Signalverarbeitung
  • Tritt auch bei einfachen Geräten wie Telefonen auf

• Technologie zur Quellentrennung in Google Meet

  • Verwendet neuronale Netze, um Sprache von Nicht-Sprache zu trennen und auch andere Sprecher zu separieren
  • Seit 2021 hat sich die Technik mit der Entwicklung semiüberwachter Lernmethoden stark verbessert

• Nebenwirkungen der Echounterdrückung

  • Der Browser kennt das gerade wiedergegebene Audio, sucht die Korrelation mit dem Mikrofoneingang und entfernt es
  • Wenn keine Kopfhörer verwendet werden, ist das nötig, um Feedback zu unterdrücken

• Funktion zur Unterdrückung internen Audios in Chrome und Chromium

  • Selbst wenn während eines Google-Meet-Anrufs in einem anderen Tab ein YouTube-Video abgespielt wird, erkennt Meet dieses nicht
  • Da Chromium Open Source ist, lassen sich die technischen Details im Code nachsehen

• Interessante Aspekte von Algorithmen zur Echounterdrückung

  • Wenn externe Lautsprecher in geringem Abstand zum Computermikrofon aufgestellt werden, kann der Algorithmus fehlerhaft arbeiten

• Notwendigkeit der Echounterdrückung während Konferenzen

  • Sie ist nötig, damit Konferenzdaten nicht wieder als Feedback eingespeist werden
  • PulseAudio und PipeWire verfügen über Module zur Echounterdrückung