Open-Source-Projekt, das mit dem Mund erzeugte Geräusche in Soundeffekte verwandelt (New UX for sound generation)

Hallo, ich habe ein Modell entwickelt, als Open Source veröffentlicht und möchte es hier teilen.

Mussten Sie schon einmal für die Erstellung eines Videos oder Spiels einen bestimmten Sound haben?

Im Kopf wissen Sie genau, wie dieses Geräusch klingen soll, aber es gab keine gute Möglichkeit, es zu beschreiben und zu finden.

Deshalb hört man in Sound-Meetings von Game-Studios oft mehr solche Geräusche als normale Gespräche.

„Eher nicht pyu-pyu, sondern besser piyu↘︎piyu↘︎“

Also habe ich es gebaut!

Das von mir entwickelte Modell funktioniert so: Sie ahmen das gewünschte Geräusch mit dem Mund nach und geben es zusammen mit Text als Input in das Modell ein, dann erzeugt es genau diesen Soundeffekt. (Dafür wurden ziemlich viel Zeit und Daten eingesetzt.)

repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…

(Wenn Sie den Demo-Link öffnen und reinhören, bekommen Sie viel besser ein Gefühl dafür, was damit gemeint ist, haha.)

[m00nlygreat]

Das ist lustig haha