Chatterbox TTS – Open-Source-Modell für Text-to-Speech

 (github.com/resemble-ai)
3 Punkte von GN⁺ 2025-06-12 | 1 Kommentare | Auf WhatsApp teilen
  • Chatterbox ist eine neue Reihe von Open-Source-Text-to-Speech-Modellen von Resemble AI, die Voice Cloning und mehrsprachige Sprachgenerierung unterstützt
  • Das aktuelle Chatterbox Multilingual V3 behält eine Modellgröße von 0,5B bei und zielt auf bessere Sprecherähnlichkeit, weniger Halluzinationen und natürlichere dialogische Mehrsprachigkeit ab
  • Chatterbox-Turbo ist ein 350M-Modell für englische Sprachagenten mit niedriger Latenz; es reduziert die Generierung im speech-token-to-mel decoder von 10 Schritten auf 1 Schritt und unterstützt paralinguistic tags wie [laugh] und [cough]
  • Die Modellfamilie ist in Turbo, Multilingual V3, Single Language Pack und das bisherige Chatterbox unterteilt; das mehrsprachige Modell unterstützt 23 Sprachen einschließlich Koreanisch, während das Single Language Pack 6 dedizierte Fine-Tunings bietet
  • Alle generierten Audiodateien enthalten das PerTh-Wasserzeichen von Resemble AI; laut Angaben bleibt es auch nach MP3-Kompression, Audiobearbeitung und üblichen Manipulationen mit nahezu 100 % Erkennungsgenauigkeit nachweisbar

Überblick über Chatterbox TTS

Aktuelles Release: Chatterbox Multilingual V3

  • Chatterbox Multilingual V3 ist das neueste universelle mehrsprachige TTS-Modell der Chatterbox-Reihe
  • V3 behält die bisherige Modellgröße von 0,5B bei und verbessert dabei Folgendes
    • Sprecherähnlichkeit
    • Verringerung von Halluzinationen
    • Natürlichere dialogische Sprache über verschiedene Sprachen hinweg
  • Wie V2 zielt es auf eine breite Sprachabdeckung ab, ist aber darauf ausgelegt, stabilere und ausdrucksstärkere Generierung zu bieten
  • Es ist das empfohlene mehrsprachige Modell für Nutzer, die ein einziges Voice-Cloning-Modell für mehrere Sprachen wünschen

Single Language Pack

Chatterbox-Turbo

  • Chatterbox-Turbo ist das effizienteste Modell für englische Sprachagenten mit niedriger Latenz
  • Es nutzt eine vereinfachte Architektur mit 350M Parametern und ist darauf ausgelegt, hochwertige Sprache mit weniger Rechenaufwand und VRAM als frühere Modelle zu erzeugen
  • Der zuvor als Engpass wirkende speech-token-to-mel decoder wurde distilliert, wodurch die Generierung von 10 Schritten auf 1 Schritt reduziert wurde
  • Turbo unterstützt nativ paralinguistic tags wie [cough], [laugh] und [chuckle], um realistische Ausdrucksformen hinzuzufügen
  • Der Hauptanwendungsfall sind Sprachagenten mit niedriger Latenz; laut Angaben eignet es sich aber auch für Narration und kreative Workflows
  • Der kommerzielle TTS-Dienst bietet eine Ultralow-Latency-Performance von unter 200 ms und wird als geeignet für den Produktionseinsatz in Agenten, Anwendungen und interaktiven Medien beschrieben

Modellübersicht

Modell Größe Sprachen Hauptfunktionen Geeignete Einsatzbereiche
Chatterbox-Turbo 350M English paralinguistic tags, geringer Rechen- und VRAM-Bedarf Zero-Shot-Sprachagenten, Produktion
Chatterbox-Multilingual V3 500M 23+ Verbesserte Sprecherähnlichkeit, weniger Halluzinationen, natürliche mehrsprachige Sprache Globale Apps, Lokalisierung, sprachübergreifendes Voice Cloning
Single Language Pack je 500M 6 dedizierte Fine-Tunings Qualitätskontrolle nach Sprache und Region Apps mit priorisierten Sprachen und hoher Dialektsensibilität
Chatterbox 500M English Anpassung von CFG und exaggeration Allgemeines Zero-Shot-TTS mit kreativer Steuerung

Installation und Ausführung

  • Das Paket wird mit pip install chatterbox-tts installiert
  • Auch die Installation aus dem Quellcode wird unterstützt 
    git clone https://github.com/resemble-ai/chatterbox.git
cd chatterbox
pip install -e .
  • Die Entwicklungs- und Testumgebung ist Python 3.11 und Debian 11; die Dependency-Versionen sind in pyproject.toml festgeschrieben
  • Im Modus zur Installation aus dem Quellcode können Code oder Dependencies angepasst werden

Verwendung

  • Chatterbox-Turbo lädt das Modell mit ChatterboxTurboTTS.from_pretrained(device="cuda"); für Voice Cloning wird der Pfad zu einem Referenzclip über audio_prompt_path übergeben
  • Das Turbo-Beispiel generiert einen Satz mit paralinguistic tags wie [chuckle]
  • Für das allgemeine englische Modell wird ChatterboxTTS verwendet, für das mehrsprachige Modell ChatterboxMultilingualTTS
  • Multilingual V3 wird mit ChatterboxMultilingualTTS.from_pretrained(device=device, t3_model="v3") geladen
    • Um den Legacy-V2-Checkpoint zu verwenden, lässt man t3_model weg oder übergibt "v2"
  • Um mit einer anderen Stimme zu synthetisieren, gibt man bei audio_prompt_path eine Referenz-Audiodatei an
  • Weitere Beispiele finden sich in example_tts.py und example_vc.py

Unterstützte Sprachen

  • Das universelle Chatterbox-Multilingual-Modell unterstützt die folgenden 23 Sprachen
    • Arabisch ar
    • Dänisch da
    • Deutsch de
    • Griechisch el
    • Englisch en
    • Spanisch es
    • Finnisch fi
    • Französisch fr
    • Hebräisch he
    • Hindi hi
    • Italienisch it
    • Japanisch ja
    • Koreanisch ko
    • Malaiisch ms
    • Niederländisch nl
    • Norwegisch no
    • Polnisch pl
    • Portugiesisch pt
    • Russisch ru
    • Schwedisch sv
    • Swahili sw
    • Türkisch tr
    • Chinesisch zh

Tipps zur Anpassung des bisherigen Chatterbox

  • Der Referenzclip sollte zum angegebenen Sprach-Tag passen
    • Andernfalls kann die sprachübergreifende Ausgabe den Akzent der Sprache des Referenzclips übernehmen
    • Um dies abzumildern, setzt man cfg_weight auf 0
  • Die Standardwerte sind exaggeration=0.5 und cfg_weight=0.5 und funktionieren für die meisten Prompts und Sprachen gut
  • Wenn der Referenzsprecher schnell spricht, kann eine Senkung von cfg_weight auf etwa 0.3 bei der Geschwindigkeitskontrolle helfen
  • Für ausdrucksstarke oder dramatische Stimmen sollte man einen niedrigen cfg_weight und exaggeration von 0.7 oder höher ausprobieren
    • Hohe exaggeration neigt dazu, die Sprechgeschwindigkeit zu erhöhen
    • Eine Reduzierung von cfg_weight kann helfen, auf ein langsameres und bedächtigeres Tempo zu korrigieren

Integriertes PerTh-Watermarking

  • Alle mit Chatterbox generierten Audiodateien enthalten das Perth-Wasserzeichen von Resemble AI
  • Dieses Wasserzeichen ist ein nicht wahrnehmbares neuronales Wasserzeichen auf Basis der Perceptual Threshold
  • Es bleibt auch nach MP3-Kompression, Audiobearbeitung und üblichen Manipulationen erhalten und behält laut Angaben nahezu 100 % Erkennungsgenauigkeit bei
  • Die Extraktion des Wasserzeichens erfolgt mit perth.PerthImplicitWatermarker() und get_watermark()
    • Das Ergebnis wird als kein Wasserzeichen 0.0 oder Wasserzeichen vorhanden 1.0 ausgegeben

Bewertung

Hinweise über die Lizenz hinaus

  • Das README stellt klar: „Verwende dieses Modell nicht für schlechte Dinge“
  • Die Prompts stammen laut Angaben aus im Internet frei zugänglichen Daten

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-06-12
Meinungen auf Hacker News

  • Die Demo kann man sich hier ansehen: https://resemble-ai.github.io/chatterbox_demopage/
    Wenn das keine allzu stark kuratierten Beispiele sind, ist das ein ziemlich guter Release. Ich sage jedes Mal dasselbe, aber wenn man selbst damit experimentiert, lag der Flaschenhals bei Voice-AI nicht bei der Sprachsynthese, sondern bei der Transkriptionsqualität. Keine Ahnung, ob sich das in letzter Zeit geändert hat.

    • Es scheint eine 40-Sekunden-Begrenzung zu geben, über die niemand spricht. Wenn das Audio länger als 40 Sekunden ist, wird es abgeschnitten.
    • Nach meiner jüngsten Erfahrung können LLMs ziemlich gut lesen, selbst wenn Transkriptionsfehler enthalten sind.
      Ich habe noch nicht ausprobiert, dem LLM zusätzlich alternative Transkripte oder Confidence Scores mitzugeben, aber es sieht sehr danach aus, dass es auch damit gut umgehen könnte.
    • Es wäre gut, eine Frontend-Integration zu haben, die Nutzern eine Liste der im Text gefundenen Homographen zeigt und jeden einzelnen bestätigen lässt.
      Außerdem braucht es eine Funktion zum Abgleich mit einer Liste häufiger Phrasen. Dass ein LLM „live feed“ oder „live here“ falsch ausspricht, ist schwer zu entschuldigen.
    • Stimmt. Ich habe Speechmatics ausprobiert, und die Transkription ist ziemlich ordentlich.
    • Wenn es nur um Englisch und nichtkommerzielle Nutzung geht, war Parakeet nahezu makellos.
      https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2
      Ich nutze es für Echtzeit-Chat und Untertitelerstellung, und auf einer 3090 verarbeitet es eine ganze TV-Folge in unter einer Minute. Whisper hatte bei mir viel zu viele Halluzinationen und war als Klassifikator nützlicher.

  • Hier kann man es kostenlos ausprobieren: https://huggingface.co/spaces/ResembleAI/Chatterbox

    • Leider haben sie den Trainings- oder Fine-Tuning-Code nicht veröffentlicht, daher ist es nicht „offen“ in dem Sinne, wie Flux oder Stable Diffusion als „offen“ bezeichnet werden.
      Wenn man bessere „offene“ Modelle will, klingen nach dem Kriterium zufälliges Voice Cloning MaskGCT und MegaTTS3 besser, und nach dem Kriterium Voice Conversion Seed-VC und MegaTTS3. Trainings-/Fine-Tuning-Code gibt es allerdings nur bei Seed-VC. Wenn man ohnehin ein Modell verwenden muss, das man nicht fine-tunen kann, und zufälliges Cloning braucht, das besser zur eigenen Stimme passt, sollte man eher diese verwenden als Chatterbox. Besonders MegaTTS3 von ByteDance ist stark. Die Forschenden von ByteDance sind den meisten TTS-Forschungsteams, abgesehen von ElevenLabs, weit voraus und haben viel mehr Geld, promovierte Forschende und Trainingsdaten.
    • Macht Spaß, damit herumzuspielen.
      Allerdings macht es aus meinem australischen Akzent einen sehr britischen, sogar nach vornehmer RP klingenden Akzent. Es klingt sehr natürlich, reproduziert aber meinen Akzent nicht. Trotzdem ist es für die meisten TTS-Anwendungsfälle überraschend klar und geeignet, sofern man nicht tatsächlich jemanden imitieren will.
    • Dass im Hugging-Face-Tool als Standard-Referenzaudiodatei ein Sample der professionellen Sprecherin Jennifer English verwendet wird, ist schon sehr offensichtlich.
    • Mich würde aus Datenschutzsicht interessieren, wie das funktioniert. Können die Sprachproben fürs Training verwendet werden?

  • Chatterbox ist großartig.
    Ich habe einen API-Wrapper gebaut, der auch die Installation einfacher macht und Docker unterstützt: https://github.com/travisvn/chatterbox-tts-api/
    Meiner Erfahrung nach ist es mit Abstand die beste lokal nutzbare Option für Voice Cloning.

    • Ich habe den Wrapper ausprobiert, und sowohl Chatterbox TTS als auch der API-Wrapper waren wirklich beeindruckend.
      Bitte entschuldigt, falls die folgende Frage sehr grundlegend ist. Ich habe nach einem einfachen CLI-Befehl gesucht, mit dem man statt eines Inline-input-Objekts eine lokale Textdatei angeben kann, konnte aber nichts finden. Für einen Hinweis wäre ich dankbar.
    • Ich habe etwa eine Stunde lang versucht, es auf einer RTX-50-Serie zum Laufen zu bringen, aber es ist fehlgeschlagen, und auch mit PyTorch 2.7 ging es nicht.
      Es scheint für 2.6 gebaut zu sein.
      "chatterbox-tts 0.1.2 requires torch==2.6.0, but you have torch 2.7.0+cu128 which is incompatible. chatterbox-tts 0.1.2 requires torchaudio==2.6.0, but you have torchaudio 2.7.0+cu128 which is incompatible."
    • Kann man es auch auf einem PC ohne GPU nutzen?

  • In allen von Chatterbox erzeugten Audiodateien soll das Perth-Watermark von Resemble AI enthalten sein.
    Angeblich ist das ein nicht wahrnehmbares neuronales Watermark, das MP3-Kompression, Audiobearbeitung und gängige Manipulationen übersteht und eine Erkennungsgenauigkeit von nahezu 100 % beibehält. Wenn ich das nicht missverstanden habe, kann man das Watermark aber nicht einfach abschalten, indem man in tts.py nur den Aufruf von apply_watermark auskommentiert? https://github.com/resemble-ai/chatterbox/blob/master/src/ch...
    Ich dachte, der Kern eines solchen Watermarks müsste irgendwie in den Modellgewichten eingebettet sein, sodass es sich nicht leicht abtrennen lässt. Wenn man ein Open-Source-Modell veröffentlicht und das Watermark nur als separaten Postprocessing-Schritt anhängt, verstehe ich nicht, warum man überhaupt ein Watermark einbaut.

    • Es könnte eine Art Geste zur Verantwortungsabgrenzung sein. Ähnlich wie der Content-Filter in früheren Versionen von Stable Diffusion.
      Oder es könnte aus Sicht der Trainingsdaten dazu dienen, zu verhindern, dass versehentlich merkwürdige Daten hineingeraten.
    • Im Parser gibt es sogar ein Flag zum kompletten Abschalten: --no-watermark. Ich dachte, das sei eingebaut worden, um es nachgelagerten Nutzern, die es in größere Produkte integrieren, als „Feature“ anzubieten.
    • Anbieter, die nicht OpenAI, Google oder ElevenLabs sind, werden zwangsläufig völlig irrelevant, wenn sie nicht aggressiv auf Open Source setzen.
      Die führenden Anbieter im TTS-Markt sind klar und tief verankert, daher müssen Unternehmen wie Resemble oder Play(HT) Gewichte bereitstellen und sich stark an Entwickler ausrichten [1]. Watermarking ist dafür eine Absicherung gegen Verantwortung. Ohne Watermark gäbe es vor allem von anti-AI-Medien wie 404Media große Bedenken wegen Missbrauchs [2].
      [1] Das ist der richtige Ansatz. Quellcode und Gewichte bereitstellen, zusätzlich eine eigene API und Fine-Tuning anbieten, damit Entwickler keinen Aufwand haben. Nur so lässt sich ein Teil des Marktanteils zurückgewinnen.
      [2] https://www.404media.co/wikipedia-pauses-ai-generated-summar...

  • Das ist vielleicht eine dumme Frage, aber wie niedrig darf die Mindest-Hardware sein, auf der es lauffähig ist?

    • Ich wollte berichten, wie es auf einer alten CPU läuft, aber selbst nach etwa 30 Minuten Herumprobieren bekam ich es nicht einmal gestartet.
      Falls es hilft, die Probleme festzuhalten: Mit Python 3.13 geht es nicht, mit einer 3.12-virtuellen Umgebung über uv ließ es sich lösen. Dann hieß es, numpy 1.26.4 sei nicht vorhanden, obwohl es tatsächlich vorhanden war; uv pip suchte nur im PyTorch-Repository. Ich musste das Flag --index-strategy setzen, damit auch andere Repositories geprüft werden. Die Version aus pip install chatterbox-tts hat einen Bug im CPU-only-Modus, daher musste ich das Git-Repository klonen, und die aktuelle main-Version brauchte unter Debian protobuf-compiler. Am Ende kam ein schwer zu interpretierender CMake-Fehler, der sich offenbar über fehlende Python-Development-Header beschwerte. Ich will doch nur Inferenz ausführen, nicht Python kompilieren; warum das nötig ist, verstehe ich nicht.
      Ich weiß, dass es nicht produktiv ist, sich aufzuregen, aber genau so läuft es bei mir fast jedes Mal, wenn ich ein fremdes Python-Projekt ausführen will. Ein Problem, Rückzug, noch ein Problem, Rückzug, und nach einer Stunde läuft es immer noch nicht.
    • Laut diesem GitHub-Issue braucht man 6–7 GB VRAM: https://github.com/resemble-ai/chatterbox/issues/44
      Wenn das Modell gut ist, wird wahrscheinlich jemand einen Optimierungsweg finden, um es mit weniger Ressourcen laufen zu lassen.
      Edit: Ich habe es auf einer alten Nvidia 2060 ausprobiert, und die maximale VRAM-Nutzung scheint bei etwa 5 GB zu liegen.
    • Den Issues nach zu urteilen ist es derzeit wohl noch nicht gut optimiert[1].
      Im Standardzustand scheint man ziemlich starke Consumer-Hardware zu brauchen, damit es halbwegs schnell läuft. Allerdings scheint es viel Spielraum für Verbesserungen zu geben, und ich bin kein Experte.
      [1]: https://github.com/resemble-ai/chatterbox/issues/127
    • Das ist keine dumme Frage, sondern die beste Frage.
      Selbst wenn man es kostenlos laufen lassen kann: Wenn Mieten günstiger ist, verliert Self-Hosting seinen Sinn.
    • Genau das wollte ich auch fragen. Ich frage mich, ob man eine GPU im vierstelligen Preisbereich braucht, ob es auch auf einem 12 Jahre alten ThinkPad läuft, oder ob es irgendwo dazwischen liegt.

  • Die Funktion zur Emotionsüberzeichnung ist interessant, aber ich habe noch nichts gesehen, das so vielseitig und leicht „formbar“ ist wie ElevenLabs, wo man nur die gewünschte Stimme beschreiben muss.
    SparkTTS bietet einige zusätzliche Parameter, und die Platzhalter im Code des GitHub-Projekts deuten darauf hin, dass das Modell für feinere Emotionssteuerung noch verbessert werden könnte. Schon jetzt hatte ich teilweise Erfolg damit, Hinweise in den Text einzubauen, die Rhythmus und Ton stark vorgeben, und das Ergebnis dann erneut in die Sprachsynthese zu geben, um näher an das gewünschte Resultat zu kommen. Aber es ist ein deutlich umständlicherer Prozess als bei ElevenLabs.

  • Bei sehr verbreiteten Akzenten war es hervorragend, aber auch andere Akzente sind ziemlich verbreitet, und es kann leicht auf einen anderen Akzent festgenagelt werden.
    Zum Beispiel kamen einige schottische Aufnahmen mit australischem Akzent heraus, und bei einem ziemlich schwachen Yorkshire-Akzent war es genauso.

    • Das sagt wohl mehr über den schottischen Akzent aus als über das Modell.
    • Interessanterweise hat es meinen australischen Akzent in sehr britisches RP verwandelt. Plötzlich klang ich extrem vornehm.
    • Ich habe einen britischen RP-Akzent und habe nacheinander einen Yorkshire- und einen schottischen Akzent eingegeben.
    • Klingt nach einem professionellen Schauspieler.

  • Sind solche Systeme inzwischen gut genug, um ein Buch überzeugend vorzulesen? Oder bricht nach ein paar Absätzen die Stimmkonsistenz zusammen?

    • Die meisten dieser TTS-Systeme neigen dazu, mit zunehmender Textlänge auseinanderzufallen.
      Bei langen Texten ist es besser, sie absatzweise in Batches zu erzeugen und am Ende wieder zusammenzufügen. Außerdem hat Chatterbox, wenn das One-Shot-Sample-WAV nicht sehr sauber ist, am Ende des erzeugten Audios manchmal zufällig ein gottloses Zischgeräusch produziert. Wenn man Dantes Inferno aufnimmt, könnte das ein Bonus sein.
    • Ja, das geht. Ich habe mit diesem Tool ein Hörbuch aus einem epub erstellt, und das Ergebnis war halbwegs brauchbar: https://github.com/santinic/audiblez.
    • Sobald es gut genug ist, wird Audible mit KI-vorgelesenen Büchern überschwemmt sein, also werden wir es bald erfahren. Die einzige Frage ist natürlich, ob Amazon das offenlegen wird.
    • Ich berate ein Unternehmen in diesem Bereich, nicht Resemble, aber ich kann sicher sagen: Bücher vorlesen geht.
    • Vor einem Jahr habe ich aus Spaß für einen Freund ein Carl-Rogers-Therapie-Hörbuch erstellt, im Stil einer Attenborough-Erzählung, und es war schon damals ziemlich gut. Inzwischen dürfte es noch besser sein.

  • Man muss Freunde und Familie regelmäßig daran erinnern, Telefonanrufen stärker zu misstrauen.
    Die Wahrscheinlichkeit steigt, dass der Freund, der dringend Walmart-Geschenkkarten braucht, nicht wirklich der Freund ist.

    • Meine Familie spricht Spanisch mit argentinischem Akzent. Nach allem, was ich bisher in diesem Bereich gesehen habe, scheine ich sicher zu sein.
    • Irgendwann wird die Regierung wohl Orte wie Walmart unter Druck setzen müssen, den Verkauf von Geschenkkarten komplett einzustellen.
      Identitätsbetrug wird so einfach und billig, dass es in naher Zukunft kaum ausbleiben kann, dass solche Betrugsanrufe überhandnehmen.
    • In Großbritannien kommen KI-basierte, hochwertige TTS-Anrufe inzwischen ziemlich häufig vor. Heute habe ich auch wieder einen bekommen.
      Wenn man dazwischenfragt: „Kannst du ein Gedicht über x schreiben?“, lassen sie sich zuverlässig aussortieren. Allerdings ist die Antwortverzögerung viel zu auffällig.
    • Der einfachste Weg, Telefonbetrug zu verhindern, ist, vorab mit der Familie und mit Freunden, die einem nah genug stehen, um ihnen Geld zu leihen, ein mündliches Passwort zu vereinbaren.
      In einer echten Situation würde die andere Person dieses Passwort kennen und sich so authentifizieren können. In der neuen Ära, in der KI-Stimmen und sogar Videos möglich sind, muss man immer wieder einschärfen, dass dieses Passwort vor Nachahmung schützt.

  • Wie weit ist der aktuelle Stand der Technik bei Open-Source-mehrsprachigem TTS? Kokoro war auf Englisch großartig, aber für Französisch, Japanisch und Deutsch suche ich noch nach guten Lösungen.

    • Ich suche auch. OpenVoice2 unterstützt zwar einige Sprachen, wenn ich mich richtig erinnere etwa fünf, aber ich habe noch nichts wirklich Brauchbares gesehen.