MusicLM, eine KI, die Musik aus Text erzeugt
(google-research.github.io)- Von Google Research veröffentlichte Arbeit
- Erzeugt Musik, die Textbeschreibungen sehr genau folgt: „Ruhige Violinenmelodie mit einem verzerrten Gitarrenriff im Hintergrund“
- Erzeugt mehrere Minuten lange Musik mit 24 kHz, indem die Aufgabe als hierarchische Sequenz-zu-Sequenz-Modellierung formuliert wird
- Deutlich besser als bestehende Systeme, sowohl bei der Klangqualität als auch bei der Einhaltung der Textbeschreibung
- Kann auch Melodiestile in Form von Pfeifen oder Summen transformieren
- Durch die sequenzielle Eingabe mehrerer Prompts ist auch Audioerzeugung im Story-Modus möglich
- Veröffentlichung des Datensatzes MusicCaps mit 5,5k Musik-Text-Paaren
2 Kommentare
Es ist wirklich beeindruckend, dass allein aus Text eine so hohe Qualität herauskommen kann!
Allerdings wirkt noch vieles ziemlich unnatürlich, daher könnte ich mir vorstellen, dass es vorerst eher genutzt wird, damit Kreative sich Ideen holen.
Riffusion - Stable Diffusion, feinabgestimmt zur Erzeugung von Musik