- Das Experiment, Weird Al Yankovics Parodien wieder mit den Stimmen der ursprünglichen Sänger zu versehen, zeigt: Voice Cloning ist nicht einfach eine Technik, die nur die Stimme austauscht, sondern legt auch Aussprache, Intonation und Gesangsgewohnheiten offen
- Die A.I.-Cover-Community wächst schnell rund um den A.I. Hub Discord und Hugging Face, wo Modelle, Tools und Tipps verbreitet werden; nichtkommerzielle Experimente und urheberrechtliche Grauzonen greifen dabei ineinander
- Selbst mit Modellen von Michael Jackson, Madonna, Kurt Cobain, Lady Gaga und Lorde bleiben der Stimmumfang der Eingangs-Vocals und Weird Als überzeichnete Artikulation erhalten; das Ergebnis wirkt eher wie Weird Als Schatten als wie die Originalkünstler
- Google Colab und AICoverGen ermöglichen auch Nutzern ohne GPU, A.I.-Cover zu erstellen, während Apps wie Kits AI, Voicify AI, Voiceflip, voicemy.ai und covers.ai die Usability-Hürde senken
- Der urheberrechtliche Druck der RIAA und die dauerhafte Sperrung von A.I. Hub durch Discord zeigen, dass Voice Cloning über ein unterhaltsames Internet-Experiment hinausgeht und zu einem rechtlichen Konflikt zwischen Community-Betrieb und Musikindustrie wird
Das Experiment, Weird-Al-Songs an die ursprünglichen Sänger zurückzugeben
- Ausgehend von der Prämisse des Films Weird: The Al Yankovic Story wurde per A.I. Voice Cloning ausprobiert, wie es klingen würde, wenn Weird Al Yankovics Parodien die Originale wären und die ursprünglichen Sänger sie covern würden
- Der erste Fall war Michael Jackson, der Weird Als „Eat It“ singt
- Michael Jacksons Original ist tiefer gestimmt als Weird Als Parodie, während die Vocals höher gesungen sind; daher wurde versucht, die Vocals um eine Oktave anzuheben und den gesamten Song um eine halbe Oktave abzusenken
- Selbst abgesehen von Artefakten klang das Ergebnis eher wie Michael Jackson, der Weird Al imitiert, als wie Michael Jackson selbst; die übertriebene Aussprache, mit der die Punchlines gut hörbar bleiben, blieb erhalten
- Es wurden sechs A.I.-Sprachmodelle für Michael Jackson getestet, doch die Unterschiede im Ergebnis waren nicht groß
- Ein Modell war mit sieben Stunden Vocals über 300 Epochs trainiert worden, allgemein gilt aber, dass ein gutes Modell normalerweise nicht mehr als 15 Minuten sauberes Audio benötigt
- Für das Experiment mit „Fat“ wurde ein Modell verwendet, das mit Songs aus Destiny, Off The Wall und Thriller trainiert wurde
- Weird Als markante Stimme und Aussprache verschwinden auch dann nicht leicht, wenn man sie mit einer anderen A.I.-generierten Stimme überdeckt; sie hinterlassen im gesamten Experiment einen unheimlichen Nachhall
A.I.-Cover-Community und Vertriebsstruktur der Modelle
- Im Zentrum der A.I.-Cover-Song-Community stand der A.I. Hub Discord mit mehr als 500.000 Mitgliedern, die Tipps, Tools, Techniken sowie Links zu Originalen und Coverversionen austauschten
- Die Community fügte der Thread-Datenbank auf Discord täglich Hunderte neuer Sprachmodelle hinzu
- Beliebte Kategorien reichen nicht nur von Musikern, sondern auch über fiktive Figuren, Anime-Charaktere, YouTuber und Streamer bis hin zu Prominenten
- Als aktuelle Modellbeispiele tauchten Francoise Hardy, Donald Duck, alle Mitglieder von VCHA, Markiplier, Tom Waits, LeBron James, Knuckles und Adolf Hitler auf
- Diskussionen und Links zu Modellen liefen über Discord, die Dateien selbst lagen aber fast alle auf Hugging Face
- Hugging Face sammelte im August 2023 in einer Series D mit Beteiligung von Google, Amazon, Nvidia, Salesforce, AMD, Intel, IBM, Qualcomm und anderen 235 Millionen US-Dollar ein; die Bewertung lag bei 4,5 Milliarden US-Dollar
- A.I. Hub verlangte für Modelleinträge Hugging-Face-Links, und auch AICoverGen empfiehlt in UI und Beispielen die Nutzung direkter Links zu Hugging-Face-Modellen
- Einige Nutzer sammeln Hunderte bis Tausende von Modellen anderer Personen in riesigen Repositories
- Ein Account hält fast 4.000 Sprachmodelle von Prominenten, Musikern, Cartoon-Figuren, YouTube-Persönlichkeiten und anderen bereit
Urheberrechtlicher Druck und Sperrung von A.I. Hub
- Die RIAA war auf A.I. Hub aufmerksam geworden und beanstandete das Hochladen von Datensätzen mit urheberrechtlich geschützten Originalsongs, die zum Training von Sprachmodellen verwendet wurden
- Im Juni 2023 forderte die RIAA Discord auf, A.I. Hub zu schließen, Links zu verletzenden Dateien zu entfernen und die Identität der Uploader offenzulegen
- Danach führte A.I. Hub strenge Regeln für Links zu urheberrechtlich geschützten Datensätzen ein, insbesondere für Links zu per A.I. verarbeiteten Vocal-Separation-Dateien, die zum Training neuer Sprachmodelle genutzt werden
- Zum Zeitpunkt der Veröffentlichung des Artikels war kein Fall bekannt, in dem die RIAA gegen A.I.-Modelle selbst oder gegen deren Ersteller vorgegangen wäre
- Zwei Tage nach Veröffentlichung des Artikels sperrte Discord A.I. Hub dauerhaft
- Ernesto Van der Sar von TorrentFreak berichtete zuerst darüber
- Unbestätigten Berichten auf dem neuen Server zufolge bearbeitete jemand einen Beitrag und fügte Links zu urheberrechtlich geschütztem Material hinzu, weshalb Discord keine andere Wahl gehabt habe, als dies als DMCA-Fall zu behandeln
Ergebnisse von Weird-Al-Covern mit Modellen verschiedener Sänger
- Für das Experiment, Madonna „Like A Surgeon“ singen zu lassen, wurde ein Modell verwendet, das mit 13 Minuten sauberer A-cappella-Aufnahmen in Studioqualität aus dem Album Like a Virgin von 1984 über 500 Epochs trainiert wurde
- Da Madonnas Vocal-Stimmumfang deutlich höher liegt als der von Weird Al, wurde eine Pitch-Verschiebung um eine Oktave angewendet
- Das Ergebnis klingt wie weiblicher Gesang, ähnelt Madonna der 1980er aber nur vage
- Im Experiment, Kurt Cobain „Smells Like Nirvana“ singen zu lassen, wurden mehrere Modelle ausprobiert; das beste Modell stammte vom YouTuber @Cleberslk
- Der Ersteller schrieb, er habe „das Modell in Eile mit dem Handy gemacht“
- Im Ergebnis mischt sich ein schwer erklärbarer europäischer Akzent hinein
- Für das Experiment, Lady Gaga „Perform This Way“ singen zu lassen, wurde ein von @udrivemecrazy erstelltes RVC-Modell verwendet
- Dieses Modell nutzte nur fünf Minuten „sehr sauberes A-cappella“-Material
- Auch ein Experiment, in dem Lorde „Foil“ singt, wurde durchgeführt
- Der Song stammt von Weird Als 14. und letztem Studioalbum Mandatory Fun
- Das Ergebnis war eines der seltenen im Experiment, das tatsächlich gefiel; es könne aber auch sein, dass das Urteilsvermögen bereits getrübt war
Produktionstools und sinkende Einstiegshürden
- Wer Modell-Inferenz lokal ausführen will, braucht normalerweise einen PC mit geeigneter GPU; Google Colab ermöglicht es jedoch auch Nutzern ohne kompatible GPU oder mit Scheu vor dem Terminal, generative A.I.-Workflows auf einem Server laufen zu lassen
- Da Macs nicht über die für diese Modell-Inferenz nötige Nvidia-GPU verfügen, wurde das Colab-Notebook von AICoverGen genutzt
- AICoverGen ist ein Paket, das die Schritte zur Erzeugung von A.I.-Covern aus bestehenden Modellen übernimmt und eine Web-UI bereitstellt
- Der Start dauerte einige Minuten, das Erzeugen jedes Songs weniger als eine Minute
- Colab und WebUI können für nichttechnische Nutzer abschreckend sein; daher bieten mehrere Startups die Erstellung von A.I.-Vocal-Covern und das Training von Modellen in Form einfacher Apps an
- Als Beispiele werden Kits AI, Voicify AI, Voiceflip, voicemy.ai und covers.ai genannt
- Dustin Ballard, Musiker aus Dallas hinter dem Kanal There I Ruined It, hat 3,1 Millionen TikTok-Follower und 700.000 YouTube-Abonnenten und experimentierte in den vergangenen vier Monaten mit Voice Cloning
- Beispiele sind ein Video, in dem The Beach Boys „Hurt“ von Nine Inch Nails zur Melodie von „Surfin’ USA“ singen, ein Hank-Williams-artiges „Straight Outta Compton“ sowie eine Neubearbeitung von Red Hot Chili Peppers’ „Snow (Hey Oh)“
- Ballard nimmt neue Vocal-Tracks selbst auf, imitiert dabei in gewissem Maß den Stimmumfang und Stil der jeweiligen Sänger und wendet anschließend A.I. Voice Cloning an
- Diese Methode eignet sich besser für Arbeiten, bei denen Text, Melodie, Takt und Intonation stark vom Original abweichen
- Um das Weird-Al-Projekt mit heutiger Technik überzeugend wirken zu lassen, wäre es besser, wenn zunächst jemand die Weird-Al-Texte im Stimmumfang und Stil des parodierten Sängers singt und darauf dann Voice Cloning angewendet wird
- Singing Voice Synthesis und Singing Voice Conversion sind schnell voranschreitende Forschungsfelder
- so-vits-svc, das Ghostwriter im April 2023 für „Heart on My Sleeve“ nutzte, um Drake und The Weeknd zu imitieren, wurde vom Repository-Inhaber bereits archiviert; RVC ist zu einem weit verbreiteten Tool geworden
- Forscher zeigen Möglichkeiten, die Klangfarbe und Intonation von Vocals zu „beautify“, neue Vocals aus Text natürlich zu synthetisieren und sie in den Stil anderer Künstler zu übertragen
Stilparodien und fehlende Modelle
- Weird Al Yankovic ist als Parodiesänger und Akkordeonspieler bekannt, aber auch ein eigenständiger Songwriter
- Viele Lieblingssongs sind Stilparodien, die keinen bestimmten Song direkt parodieren, sondern den Stil anderer Künstler riffen
- Es wäre interessant, synthetische Versionen zu hören, in denen Mark Mothersbaugh von Devo „Dare to Be Stupid“, David Byrne „Dog Eat Dog“ und James Taylor „Good Old Days“ singt, doch vorhandene A.I.-Modelle dieser Sänger gab es auf A.I. Hub nicht
- Nach einiger Zeit aktiver Nutzung von A.I. Hub wirkte die Community eher jung; einige ältere Künstler waren in Modellen, Covern und Anfragen kaum sichtbar
- Der Großteil der Aktivität auf A.I. Hub ist nichtkommerziell
- Modelle werden kostenlos verteilt
- Nutzer teilen weiterhin A.I.-Cover, die sie auf YouTube hochgeladen haben
- Allerdings gibt es im Kanal #request-a-model auch Personen, die gegen Bezahlung das Training von Sprachmodellen übernehmen
Ethik und rechtliche Konflikte rund um Voice Cloning
- Wie bei der Debatte um generative A.I. lassen sich auch bei Voice-Cloning-Tools Fragen der Ethik und Legalität kaum vermeiden
- Die Haltung der Künstler fällt unterschiedlich aus
- Holly Herndon steht der Nutzung ihrer Stimme auf diese Weise positiv gegenüber
- Grimes erlaubt auch kommerzielle Nutzung, wenn es eine Gewinnbeteiligung gibt
- Manche Künstler wollen das unabhängig davon, ob es kostenlos ist, nicht
- Im April 2020 verlangte Jay-Z, mehrere Deepfake-Audio-Parodien mit seiner Stimme von YouTube entfernen zu lassen
- Damals handelte es sich um offensichtliche Parodien, doch wenn Jay-Z ohne Erlaubnis als Feature auf einer neuen Single erscheinen oder in einer Werbung ein Produkt empfehlen würde, könnte das Urheberrechte oder Persönlichkeitsrechte verletzen
- Anonyme Produzenten wie Ghostwriter nutzen Namen und Stimmen bekannter Künstler, um Songs populär zu machen, und erstellen Musik ohne Wissen, Zustimmung oder Vergütung dieser Künstler
- Bei „Heart on My Sleeve“ forderte die Musikbranche Takedowns auf allen Streaming-Plattformen
- Ghostwriter veröffentlichte später einen weiteren Song mit A.I.-Versionen von Travis Scott und 21 Savage auf X und TikTok; TikTok löschte ihn schnell, auf X blieb er jedoch verfügbar
- Die Musikindustrie wird die kommerzielle Nutzung von A.I.-Vocals wahrscheinlich weiter verfolgen, doch die Erstellung von A.I.-Vocals selbst dürfte schwer zu verhindern sein
1 Kommentare
Kommentare auf Hacker News
Es ist ziemlich erstaunlich, dass diese Tools offenbar jedes Mal eine Kopie des Modells übertragen, wenn sie ausgeführt werden. Wenn das sowohl für Google-Colab-Notebooks als auch für lokale Maschinen gilt, müssen die Bandbreitenkosten von Hugging Face enorm sein; frage mich, ob ich da etwas übersehe.
Vielleicht haben sie Peering-Abkommen oder setzen sehr stark auf Caching.
Für die Kosten, 100 TB aus AWS heraus zu übertragen, könnte man rund um die Uhr 10 Gbit/s durchgehend betreiben, und bei 100 % Auslastung wären das über 3 PB pro Monat. Bandbreite war schon immer absurd billig.
Noch besser wäre, wenn zuerst gefragt würde, wo das Modell gespeichert werden soll.
Dieser Artikel behandelt nur die musikalische Seite des AI-Voice-Clonings; der kompliziertere Bereich ist der allgemeine Ersatz von Synchronsprechern in Film, Spielen und Animation. Beispiel: https://www.axios.com/2023/07/24/ai-voice-actors-victoria-at...
Sänger zu ersetzen erfordert erhebliches Post-Processing, und sie haben auch genug Geld und juristische Macht, um nicht massiv unter Konkurrenz zu leiden. Bei Synchronsprechern ist das anders. Mit den Standardeinstellungen von ElevenLabs oder Open-Source-Alternativen wie Bark und VALL-E X lassen sie sich schon einigermaßen klonen, sie sind ohnehin schlecht bezahlt, und als Vertragsarbeiter haben sie keine rechtlichen Eigentumsrechte an ihrer Stimme. Die Arbeit von Synchronsprechern gehört normalerweise dem Auftraggeber, und dieser Auftraggeber hat möglicherweise wenig Anreiz, ihre Stimmen aktiv zu schützen.
Ich würde gern einen Blogpost über den Einfluss der Sprecherkultur rund um Persona 5 und Genshin Impact schreiben, aber die meisten Hacker-News-Leser dürfte das kaum interessieren.
Noch verdeckter könnten sie Sprachassistenten anbieten und in die AGB schreiben: „Wir dürfen eine Kopie Ihrer Stimme für jeden Zweck verwenden.“ Bestehende Synchronsprecher verlieren ihre Jobs, und übrig bleibt nur eine kleine Gruppe, die ausdrücklich echte menschliche Stimmen will. Bei manchen Projekten wird das keine Rolle spielen, also dürfte es ziemlich chaotisch werden.
Ich würde es jedenfalls gern lesen.
Sänger wollten nicht als Software repliziert werden, aber Stimmen von Synchronsprechern wurden offenbar als frei verwendbares Material behandelt.
Dieser Markt wird sich wahrscheinlich für kleine Unternehmen öffnen, die sich keine professionellen Sprecher leisten können. AI erschließt neue Märkte; ich glaube nicht, dass sie wirklich talentierten Menschen die Jobs wegnimmt.
Wow, mir wird gerade klar, dass jetzt jeder Weird Als Lyrics unverändert lassen und sie mit der Stimme des ursprünglichen Sängers neu erstellen kann. Bis zur Mittagspause könnten wir Michael Jackson Just Eat It singen hören.
Es überrascht mich immer wieder, wie neue AI-Technik eingesetzt werden kann. Natürlich ist das nach dem Urheberrecht der meisten Länder wahrscheinlich illegal.
Weird Al selbst holt zwar Erlaubnisse ein, aber es ist gut etabliert, dass Parodie keine Urheberrechtsverletzung ist. Wenn ein guter Anwalt das vorbrächte, sollte es auch Spielraum für AI-Stimmen-Parodie-Performances geben.
Die bisher beste Nutzung dieser Technik, die ich gesehen habe, ist, wie The Beach Boys Hurt singen. Zum ersten Mal habe ich ernsthaft kaum Artefakte wahrgenommen, und obwohl die Kombination eigentlich keinen Sinn ergibt, passt sie unglaublich gut
Hört mal rein: https://youtu.be/gmNSFqyg_Z8
Allerdings bin ich gespannt, ob demnächst irgendeine KI den tatsächlichen Akkordlauf und die Melodie des NIN-Originals mit dem Beach-Boys-Stil synthetisieren und noch ein wenig Johnny-Cash-Pathos hinzufügen kann
Wenn die Rechte von Künstlern, Songwritern usw. alle geklärt wären, könnte man so etwas als „akzeptablen“ KI-Einsatz ansehen. Es ist zwar immer unterhaltsamer, wenn talentierte Leute selbst herumspielen, aber so ein abgedrehtes Mashup-Album würde ich mir definitiv anhören
Die Sample-Stimme klingt weder wie Michael Jackson noch wie Weird Al. Guter Versuch, aber ein professioneller Stimmenimitator hätte wahrscheinlich beide besser hinbekommen
KI-Song-Cover sind großartig. Das reicht von Goku, der Don't Stop Me Now singt, bis zur SpongeBob-Besetzung, die Ocean Man singt
https://www.youtube.com/watch?v=CkQ-44PvTs8
https://www.youtube.com/watch?v=tJjhObngcxI
Das wusste ich nicht. „Das Zentrum der KI-Cover-Song-Community ist ein Discord namens A.I. Hub mit über 500.000 Mitgliedern, in dem die Mitglieder neue Tipps, Tools, Techniken sowie Links zu Originalsongs und Coverversionen austauschen“
Wenn man sich vorstellt, dass 500.000 Menschen gemeinsam auf der Straße stehen, würde man das sicher bemerken; online kann es aber solche riesigen Communities geben, ohne dass man überhaupt davon erfährt, bis man zufällig darauf stößt oder jemand einen darauf hinweist
Selbst Reddit liegt bei der Gen Z hinter Discord oder TikTok zurück, und wenn man /r/LocalLLMs liest, merkt man sofort, dass ein beträchtlicher Teil dieser Community minderjährig ist. Um das klar zu sagen: Ich halte das für etwas Gutes
Es gab eine Generation, die Mailinglisten bevorzugte, eine Generation, die IRC und BBS bevorzugte, und meine Generation mag Foren und lange Kommentar-Threads. Es wäre naiv zu glauben, dass die Art, wie wir es heute machen, ewig bestehen bleibt
Die Kritik an Discord, insbesondere an Suchbarkeit und Auffindbarkeit, ist sehr real, aber an diesem Punkt scheinen die Würfel gefallen zu sein. Junge Leute haben sich bereits entschieden
Allerdings weiß ich nicht, ob das an den Grenzen der Technik liegt oder einfach daran, dass „das Ausgangsmaterial zu langweilig“ ist. Es gibt sehr viel in der Art „aktueller populärer Rapper singt Klassiker“, und als alter Hip-Hop-Fan würde ich sagen: An den Vocals aktueller populärer Hip-Hop-Künstler gibt es kaum etwas Interessantes
Ein zugehöriger Artikel von vor einem Jahr darüber, dass die Stimme von Darth Vader künftig per KI erzeugt wird
https://arstechnica.com/information-technology/2022/09/james...
Für „Promi-Stimmen-Imitationen“ kann man sich auf YouTube Music Light My Fire anhören
https://music.youtube.com/watch?v=lN3v3EfA6_A&si=_hcG3Wjakxd...