Benchmark: Apple SpeechAnalyzer API im Vergleich zu Whisper und der bisherigen API

 (get-inscribe.com)
1 Punkte von GN⁺ 4 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Auf einem Apple M2 Pro wurden 5.559 LibriSpeech-Audiodateien mit demselben Produktionscode verarbeitet; dabei war SpeechAnalyzer mit einer Wortfehlerrate (WER) von 2,12 % bei sauberem Audio und 4,56 % bei verrauschtem Audio präziser als alle anderen getesteten Engines
  • Die WER des bisherigen SFSpeechRecognizer lag bei 9,02 % bzw. 16,25 %; die neue API reduzierte die Fehler bei demselben Audiomaterial also um das 3,5- bis 4-Fache und setzte zusätzlich Satzzeichen und Groß-/Kleinschreibung
  • SpeechAnalyzer war genauer als Whisper Small und etwa 3-mal schneller, der Support ist aber auf rund 30 Lokalisierungen und Apple-Plattformen ab OS 26 beschränkt
  • Alle Engines liefen auf dem M2 Pro etwa 12- bis 40-mal schneller als in Echtzeit und verarbeiteten 1 Stunde Audio in 1,5 bis 5 Minuten; wegen parallel laufender Entwicklungsarbeit wurden jedoch keine präzisen Geschwindigkeitswerte pro Engine veröffentlicht
  • Wer derzeit Englisch auf einem iPhone oder Mac on-device transkribiert, kann SpeechAnalyzer als erste Wahl betrachten; auch Inscribe hat die Standardeinstellung so geändert, dass für unterstützte Sprachen SpeechAnalyzer und sonst Whisper verwendet wird

Ergebnisse des Genauigkeits-Benchmarks

  • Die Wortfehlerrate (WER) gibt an, wie oft eine Engine Wörter falsch ersetzt, auslässt oder neu erfindet; je niedriger, desto genauer
  • Alle Engines liefen auf einem Apple M2 Pro mit 32 GB und macOS 26.5.1 vollständig on-device
  • Verwendet wurden die zwei Evaluierungs-Datensätze von LibriSpeech
    • test-clean: 2.620 sauber eingesprochene Audiodateien
    • test-other: 2.939 schwierigere und stärker verrauschte Audiodateien
  • WER und Modellgröße pro Engine waren wie folgt
    • Apple SpeechAnalyzer: test-clean 2,12 %, test-other 4,56 %, Systemmodell
    • Whisper Small: 3,74 %, 7,95 %, ca. 460 MB
    • Whisper Base: 5,42 %, 12,51 %, ca. 140 MB
    • Whisper Tiny: 7,88 %, 17,04 %, ca. 40 MB
    • Apple SFSpeechRecognizer: 9,02 %, 16,25 %, Systemmodell
  • Apple hat SFSpeechRecognizer in iOS 26 und macOS 26 durch SpeechAnalyzer·SpeechTranscriber ersetzt, aber keine Genauigkeitswerte veröffentlicht
  • Inscribe bietet die beiden Apple-Engines und drei Whisper-Modelle gemeinsam an, wodurch sich fünf Engines auf demselben Rechner, mit demselben Audio und demselben Produktions-Codepfad vergleichen ließen

Warum man von SFSpeechRecognizer migrieren sollte

  • SpeechAnalyzer senkt die WER beim gleichen Audiomaterial im Vergleich zur bisherigen API um das 3,5- bis 4-Fache
    • Sauberes Audio: von 9,02 % auf 2,12 %
    • Stark verrauschtes Audio: von 16,25 % auf 4,56 %
  • Neben der Genauigkeit erzeugt die Engine auch Text mit Satzzeichen und Groß-/Kleinschreibung, wodurch die Ergebnisse deutlich aufgeräumter wirken als bei der bisherigen Engine
  • Bei der Transkription derselben Stunde Audio erkennt die bisherige API ungefähr viermal so viele Wörter falsch wie SpeechAnalyzer
  • Für Apps, die längeres Audio statt Sprachbefehlen verarbeiten, ist allein der Genauigkeitsgewinn ein ausreichender Grund für die Migration

Wann SpeechAnalyzer und wann Whisper

  • SpeechAnalyzer erzielte in beiden Datensätzen eine niedrigere WER als Whisper Small, das größte getestete Whisper-Modell
  • Auch die Rechenzeit pro Audiosekunde lag nur bei etwa einem Drittel von Whisper Small, also vorn bei Genauigkeit und Geschwindigkeit
  • Für englische Verarbeitung auf Apple-Hardware zeigte SpeechAnalyzer unter den testbaren On-Device-Engines die besten Ergebnisse
  • Für Whisper bleiben zwei Vorteile
    • Es unterstützt deutlich mehr Sprachen, während SpeechTranscriber nur etwa 30 Lokalisierungen unterstützt
    • Es ist nicht auf Apple-Plattformen ab OS 26 beschränkt und kann in vielen Umgebungen laufen
  • Die Auto-Engine von Inscribe wurde auf Basis der Messwerte so geändert, dass für unterstützte Sprachen SpeechAnalyzer und für andere Sprachen bevorzugt Whisper genutzt wird

Verarbeitungsgeschwindigkeit und Messgrenzen

  • Alle fünf Engines liefen auf dem M2 Pro etwa 12- bis 40-mal schneller als in Echtzeit
  • 1 Stunde Audio ließ sich on-device in etwa 1,5 bis 5 Minuten transkribieren
  • SpeechAnalyzer war etwa 3-mal schneller als Whisper Small und erzielte zugleich eine niedrigere WER
  • Während der Genauigkeitsmessung liefen auf demselben Rechner auch Entwicklungsaufgaben, wodurch die Laufzeiten pro Engine verrauscht wurden
    • Diese Last beeinflusst die WER nicht
    • Eine präzise Geschwindigkeits-Tabelle pro Engine soll später in einer dedizierten Leerlaufumgebung nachgemessen und ergänzt werden

Reproduzierbarkeit und offene Daten

  • Die Whisper-Messwerte lagen nahe an den von OpenAI veröffentlichten LibriSpeech-Ergebnissen und bestätigten damit die Konsistenz des Benchmark-Harnesses
    • Whisper Tiny test-clean: gemessen 7,88 %, OpenAI 7,6 %, Differenz +0,28 %-Punkte
    • Whisper Base test-clean: 5,42 %, 5,0 %, +0,42 %-Punkte
    • Whisper Small test-clean: 3,74 %, 3,4 %, +0,34 %-Punkte
    • Whisper Tiny test-other: 17,04 %, 16,9 %, +0,14 %-Punkte
    • Whisper Base test-other: 12,51 %, 12,4 %, +0,11 %-Punkte
    • Whisper Small test-other: 7,95 %, 7,6 %, +0,35 %-Punkte
  • Dass alle Messwerte leicht höher ausfielen, lag an einem strengeren Text-Normalizer und der CoreML-Quantisierung
  • Da derselbe Korpus, Normalizer und Scorer auch auf die Apple-Engines angewendet wurde, dient die Übereinstimmung mit den Whisper-Werten als Grundlage zur Validierung der Apple-Messwerte
  • Erkennungsergebnisse pro Satz, Referenztexte und WER pro Satz wurden offengelegt, damit sich die Daten mit anderen Normalisierungsverfahren erneut bewerten lassen

WER-Messmethode und Verifizierung des On-Device-Betriebs

  • Jede Engine lief nicht in einer experimentellen Konfiguration, sondern über den Produktions-Codepfad und die Buffering-Einstellungen, die Inscribe-Nutzer tatsächlich verwenden
  • Die LibriSpeech-Referenztexte sind in Großbuchstaben, ohne Satzzeichen und mit ausgeschriebenen Zahlen, während moderne Engines mit Satzzeichen und Ziffern ausgeben
    • Auf beide Texte wurde derselbe Normalizer angewendet, der Groß-/Kleinschreibung, Satzzeichen, die Umwandlung von Zahlen in Wörter und Kontraktionen verarbeitet
    • Um Engines mit besser lesbarem Format nicht zu benachteiligen, wurde nicht der Rohtext direkt bewertet, sondern OpenAIs englische Normalisierungsmethode verwendet
  • Damit kurze Sätze nicht übergewichtet werden, wurde statt des Durchschnitts der Satz-WER die Korpus-WER verwendet, also Gesamtfehler geteilt durch die Gesamtzahl der Referenzwörter
  • SFSpeechRecognizer kann standardmäßig Audio an Apple-Server senden, daher wurde die On-Device-Erkennung erzwungen
    • Da ein automatischer Wechsel in die Cloud den Vergleich ungültig machen würde, war das Harness so konfiguriert, dass es die Ausführung in diesem Fall verweigert
    • Das war zugleich eine Maßnahme, um in einem Datenschutzprodukt nicht 5.559 Audiodateien auf Server hochzuladen
  • Auch Fälle ohne zurückgegebenes Ergebnis wurden nicht verborgen, sondern mit 100 % WER für den jeweiligen Satz gewertet
    • Das trat bei insgesamt 27.795 Transkriptionen genau einmal auf, in einem test-other-Fall von SFSpeechRecognizer

Im Benchmark gefundener Produkt-Bug

  • Die Datei-Importfunktion der Apple-Engine in Inscribe übergab Audio an SpeechAnalyzer und schloss den Eingabestream, rief aber finalizeAndFinishThroughEndOfInput() nicht auf
  • Ohne diesen Aufruf liefert der Analyzer kein finales Ergebnis, wodurch der Dateiimport unbegrenzt hängen blieb
  • Da die Einstellung Auto bislang Whisper bevorzugte, war der Bug zuvor nicht aufgefallen
  • Das Problem wurde im Benchmark-Prozess identifiziert, und der Fix wurde noch am selben Tag ausgerollt

Grenzen und tatsächlicher Anwendungsbereich

  • Bewertet wurde nur vorgelesenes Englisch, daher lassen sich die Ergebnisse nicht auf mehr als 100 Sprachen übertragen, die Whisper unterstützt, SpeechTranscriber aber nicht
  • LibriSpeech ist ein standardisierter und gut vergleichbarer Korpus, aber kein Meeting-Audio
    • Sprache mit Akzent, aus größerer Entfernung aufgenommene Sprache und Meetings mit mehreren Sprechern sind Gegenstand späterer Evaluierungen
  • Gemessen wurde nur auf einem M2 Pro mit macOS 26.5.1
    • Die Genauigkeit dürfte auf anderer Apple-Silicon-Hardware ähnlich bleiben, die Geschwindigkeit hängt aber vom jeweiligen Chip ab
  • Whisper lief mit den von Inscribe tatsächlich eingesetzten WhisperKit-CoreML-quantisierten Modellen
    • Die Referenz-GPU-Implementierung kann leicht andere Ergebnisse liefern; die Abweichung zu den von OpenAI veröffentlichten Werten ist in der Reproduzierbarkeits-Tabelle berücksichtigt
  • Wer derzeit auf iPhone oder Mac Englisch transkribiert, erhielt laut Messung mit dem im Betriebssystem integrierten SpeechAnalyzer die genaueste On-Device-Option
  • Inscribe verwendet für unterstützte Sprachen SpeechAnalyzer, sonst Whisper, und führt die gesamte Verarbeitung auf dem Gerät aus, ohne Audio hochzuladen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 4 시간 전
Meinungen auf Hacker News

  • Whisper ist als Vergleichsmaßstab nicht wirklich geeignet; inzwischen gibt es bessere aktuelle Modelle wie Nvidias Nemotron/Parakeet, Mistrals Voxtral oder Cohere Transcribe.
    Gleichzeitig dürften viele kostenpflichtige Apps, die Whisper nur einfach verpacken, unter Druck geraten. Wenn Apple eine native GUI wie eine Aufnahme-App für macOS herausbringt, werden die meisten Wrapper-Apps, die heutzutage per Vibe Coding entstehen, wohl überflüssig.

    • Dieser Test hat nur Englisch bewertet, aber die Stärke anderer Modelle liegt darin, mehrere Sprachen zu erkennen, ohne die Sprache vorher festzulegen. Wenn man im Alltag in drei Sprachen diktiert, muss man nicht drei Tastenkürzel bereithalten.
    • Ob Parakeet wirklich ein State-of-the-Art-Modell ist, ist fraglich. Wenn man stotternd „m-m-m-map“ sagt, transkribiert Parakeet das als „m m m map“, was je nach Anwendungsfall ein Vorteil oder Nachteil sein kann. Whisper macht das nicht, und Cohere Transcribe gefällt mir ziemlich gut.
    • Apples Sprachmemos unterstützen bereits seit macOS 15 und iOS 18 automatische Transkription.
    • Unter diesen Modellen hat nur Parakeet weniger als eine Milliarde Parameter und wirkt besser als Apples Modell, ist aber nicht eingebettet. Mich würde interessieren, wie Latenz und Effizienz im Vergleich aussehen.
    • Ich hoffe auch, dass die miserabele Diktierfunktion der Apple-Tastatur ersetzt wird. Diese Software ist kaum auszuhalten.

  • Für Aufnahmen auf dem Mac empfehle ich Willow. Es strukturiert die Inhalte und verarbeitet sie fast sofort; für mich ist das „besser als eine perfekte Transkription“. Superwhisper mochte ich auch, aber der Unterschied war so groß, dass ich zu Willow gewechselt bin.
    Es ist so gut, dass ich mich frage, ob da überhaupt noch viel Verbesserung möglich ist. Spracherkennung scheint bereits gelöst zu sein oder spätestens in fünf Jahren gelöst zu werden. Ob die entsprechenden Anbieter langfristig überleben, weiß ich nicht, aber für Verbraucher ist das großartig; wenn Apple SpeechAnalyzer im Jahr 2030 gut genug ist, dürfte Drittanbieter-Software überflüssig werden.

  • Für meinen Hauptanwendungsfall, Untertitel für Mathematikvorlesungen zu erstellen, habe ich es mit Whisper-Large-V2 verglichen: Es war deutlich schneller, aber etwas weniger genau. Für Echtzeittranskription ist es gut genug nutzbar, aber da ich Untertitel nicht sofort erzeugen muss, werde ich vorerst weiter Whisper verwenden.

    • Ich nutze es in einer Podcast-App, an der ich seit einem halben Jahr entwickle, und es ist tatsächlich sehr schnell. Wenn man Audio in mehrere Abschnitte aufteilt und so ausführt, dass man das Limit für gleichzeitige Decoding-Streams nicht überschreitet, erreicht man enorme Geschwindigkeit; selbst wenn an Abschnittsgrenzen etwas verloren geht, reicht das für Podcasts aus.
      Auf dem iPhone 17 Pro verarbeitet es eine Stunde Audio in einer Minute.
    • Wenn es schneller, aber qualitativ schlechter ist, sollte man es dann nicht eher mit kleineren Whisper-Modellen vergleichen?

  • Ein Vergleich mit Voxtral wäre angemessener. Bei meinen Meeting-Transkripten hatte kein öffentliches oder proprietäres Modell eine derart niedrige Fehlerquote bei Akronymen (AER), und es versteht oder erschließt auch all die technischen Fachbegriffe, die ich bei der Arbeit benutze, sodass kaum Korrekturen nötig sind. Whisper war erschreckend schlecht.

    • Aus diesem Grund schalte ich bei Apple-Produkten normalerweise die Autokorrektur aus. Ich bin vorsichtig optimistisch bei verbesserten Sprachmodellen, befürchte aber, dass sie technische Fachbegriffe zu geläufigen Wörtern „korrigieren“.

  • Whisper small/tiny/base sind fast vier Jahre alte Modelle und wurden auch in Whisper v2 oder v3 nicht aktualisiert. Sollte es inzwischen nicht bessere Vergleichskandidaten geben?

    • Es gibt viele Optionen; unter https://artificialanalysis.ai/speech-to-text/non-streaming kann man schon nach Streaming-Unterstützung und offenen Gewichten suchen und filtern. Derzeit wirken Voxtral und Nvidia Nemotron am besten.
    • Es gibt sehr viele Modelle; von denen, die mir zuletzt im Gedächtnis geblieben sind, hat Parakeet Aufmerksamkeit bekommen, unter anderem durch eine unabhängige leichtgewichtige Implementierung.

  • Beeindruckend. Apple sagte, dass es in 27 das Modell verbessert habe, daher wären auch Messwerte aus der Beta-Version interessant.

  • Ist das die neue Diktier-Engine, die auf einem ein Jahr alten normalen iPhone 17 nicht ausgeführt werden kann, nur weil es kein Pro ist?

  • Ich nutze Spokenly mit einem Nvidia-Modell und reinem Offline-Modus. Die gesamte Verarbeitung läuft lokal und es ist komplett kostenlos, daher kann ich es sehr empfehlen.

  • Es wäre gut, auch Whisper large und large v3 turbo zu benchmarken. Sie laufen selbst auf älteren MacBooks problemlos, haben einen Real-Time Factor (RTF) unter 1 und sind beim tatsächlichen Diktieren deutlich genauer als die Parakeet-Familie, anders als die ASR-Leaderboards vermuten lassen.

    • Ich empfehle, MOSS-Transcribe-Diarize auszuprobieren, das vor ein paar Tagen erschienen ist. Es liefert bessere Ergebnisse als diese Whisper-Modelle, ist sehr schnell und klein und eignet sich besser für verrauschtes Audio.

  • Whisper large v3 turbo läuft auch auf den neuesten iPhones lokal gut; es ist seltsam, dass es im Vergleich fehlt.