tts-bench – Benchmark zum Vergleich lokaler TTS-Modelle

• Open-Source-Benchmark, der 55 lokale TTS-Modelle auf beliebiger Hardware aus drei Perspektiven vergleicht
• Besteht aus drei Blickwinkeln: Speed (Geschwindigkeit)/Listen (Anhören)/Scores (objektive Metriken), gemessen auf CPU/CUDA/Apple Silicon
  • Speed misst kalte/warme TTFA (Time to First Audio), RTF (Faktor gegenüber Echtzeit) und Speicherverbrauch
  • Listen spielt alle Modelle und Prompts inline mit Standardstimme + geklonter Stimme ab, sodass man das Modell direkt nach Gehör auswählen kann
  • Scores bewertet UTMOS (Natürlichkeit), WER (Verständlichkeit) und SIM (Treue der Stimmklonung) nach der seed-tts-eval-Methode
• Bietet eine Demos-Website, auf der man alle Modelle ohne Installation anhören und nach Prompt/Modell durchsuchen kann
• Von den 55 Modellen unterstützen 41 Stimmklonung (Voice Cloning) per Referenzclip; drei Referenzformate werden unterstützt (nur wav / wav + Transkript / HF-gated wav)
• Koreanisch wird nicht von allen 55 Modellen unterstützt, aber es sind mehrsprachige bzw. Koreanisch-fähige Modelle wie Supertonic, VoxCPM, OmniVoice enthalten
  • Da die Standard-Benchmark-Prompts allerdings vor allem auf Englisch/Französisch ausgelegt sind, empfiehlt es sich, für die Beurteilung der Koreanisch-Qualität Listen/compare mit eigenen koreanischen Sätzen auszuführen und per Gehör zu prüfen
  • In Tests lieferten die genannten Modelle Supertonic, VoxCPM und OmniVoice eine hörbare Qualität
• Spitzenreiter bei A/B-Votings zur Stimmklonung — OmniVoice (beste Übereinstimmung der Klangfarbe, kann aber Wörter verschleifen/auslassen), Echo-TTS (geteilt auf Platz 1, 44,1 kHz), IndexTTS-2 (Platz 3, erhält Intonation)
• Der Benchmark-Code steht unter MIT-Lizenz; für die einzelnen TTS-Modelle gelten jeweils eigene Lizenzen