Riffusion – Stable Diffusion, feinabgestimmt für die Erzeugung von Musik

• Verwendet SD 1.5 unverändert und wurde mit img2txt feinabgestimmt, um Spectrogram-Bilder zu erzeugen
• Die erzeugten Bilder können in abspielbare Audio-Clips umgewandelt werden
• Mit img2img lassen sich Sounds bearbeiten
• Interpolation ermöglicht es, kurze Audio-Clips endlos zu loopen
• Für eine einfache Nutzung wurde eine Web-App erstellt, und der Code ist ebenfalls veröffentlicht (Next.js + React + Three.js + Tailwind)

Spectrogramm: Waveform + Spectrum

• Eine Darstellung, die das Spektrum von Klang mithilfe von Frequenz, Amplitude (Intensität) und Zeit visualisiert
• Kann aus Audio mithilfe von STFT (Short-Time Fourier Transform) berechnet werden