Hallo, ich habe ein Modell entwickelt, als Open Source veröffentlicht und möchte es hier teilen.
Mussten Sie schon einmal für die Erstellung eines Videos oder Spiels einen bestimmten Sound haben?
Im Kopf wissen Sie genau, wie dieses Geräusch klingen soll, aber es gab keine gute Möglichkeit, es zu beschreiben und zu finden.
Deshalb hört man in Sound-Meetings von Game-Studios oft mehr solche Geräusche als normale Gespräche.
„Eher nicht pyu-pyu, sondern besser piyu↘︎piyu↘︎“
Also habe ich es gebaut!
Das von mir entwickelte Modell funktioniert so: Sie ahmen das gewünschte Geräusch mit dem Mund nach und geben es zusammen mit Text als Input in das Modell ein, dann erzeugt es genau diesen Soundeffekt. (Dafür wurden ziemlich viel Zeit und Daten eingesetzt.)
repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…
(Wenn Sie den Demo-Link öffnen und reinhören, bekommen Sie viel besser ein Gefühl dafür, was damit gemeint ist, haha.)
12 Kommentare
Wirklich ein großartiges Projekt!
"Wie kann ich einer KI-Agentin oder einem KI-Agenten einfach erklären, was ich möchte?"
Ich denke, das ist derzeit ein wirklich wichtiger Punkt und ein Bereich, der viel Nachdenken erfordert.
So wie wir die Entwicklung des UI/UX-Bereichs von IT-Services beobachtet haben, wird sich nun auch die Nutzererfahrung rund um KI weiter aufbauen, und ich freue mich darauf, dass viel darüber gesprochen wird, was tatsächlich wirksam und wichtig ist.
Sieht so aus, als wäre das gut für die Arbeit an Film-SFX geeignet.
Das ist wirklich superlustig haha
Danke, haha
Macht Spaß, hahaha, das klappt ja wirklich. Ich würde gern wissen, wie ihr das Modell trainiert habt.
Aber in der Demo ist das mit dem Mund Gemachte als Soundeffekt eigentlich noch cooler.
Durch so vieles Testen bin ich inzwischen richtig geübt.
Spannend. Wäre es vielleicht möglich, als Eingabe nicht nur Stimmen zu verwenden, sondern auch eher so etwas wie Pokémon- oder R2D2-artige Geräusche?
Nein, nein, das Training selbst wurde nicht mit einer Stimme durchgeführt, daher scheint wohl jede Art von Sound-to-Sound möglich zu sein. Mit Pokémon-Geräuschen habe ich es allerdings noch nicht getestet, haha.
Oh, dann könnte ein LLM so etwas wie Formeln erzeugen, um Dynamik und Intensität zu steuern, daraus elektronische Klänge generieren und sie dann zusammen mit Text als Eingabe nutzen, um Soundeffekte auszugeben – dann ließen sich wohl auch jeweils passende Soundeffekte erzeugen. Ziemlich cool.
Das ist lustig haha
Danke, haha