Stable Diffusion anschaulich erklärt

Die Komponenten von Stable Diffusion

• Textversteher (Encoder) - CLIPText
• Bildgenerator
  • Erzeuger der Bildinformationen - Unet + Scheduler
  • Bilddecoder - Autoencoder Decoder

Was ist Diffusion?

• Wie funktioniert Diffusion?
• Bilder durch Rauschreduktion malen
• Geschwindigkeit erhöhen: Diffusion auf einer komprimierten Version statt auf Pixelbildern ausführen
• Text-Encoder: Transformer-Sprachmodell
• Textinformationen an den Bilderzeugungsprozess weitergeben