MIT 6.S184: Einführung in Flow Matching und Diffusionsmodelle

 (diffusion.csail.mit.edu)
3 Punkte von GN⁺ 2025-03-04 | 1 Kommentare | Auf WhatsApp teilen
  • Die MIT-Version 6.S184 von 2026 ist ein Einführungskurs, in dem Diffusionsmodelle und Flow-Modelle für verschiedene Datentypen wie Bilder und Videos sowohl theoretisch als auch praktisch vermittelt werden
  • Die Vorlesung behandelt stochastische Differentialgleichungen, die Fokker-Planck-Gleichung, Flow Matching, Score Matching, classifier-free guidance, latente Räume bis hin zu diskreten Diffusionsmodellen
  • Zu jeder Vorlesung gehört eine praktische Übung, sodass Teilnehmende Flow Matching und Diffusionsmodelle Schritt für Schritt von Grund auf selbst implementieren können
  • Im späteren Teil des Kurses wird ein Latent Diffusion Model direkt aufgebaut, sodass probabilistische Analysewerkzeuge auch auf andere Bereiche angewendet werden können
  • Erfahrung in Wahrscheinlichkeitstheorie und Deep Learning wird empfohlen; als Vorkenntnisse werden lineare Algebra, mehrdimensionale Analysis, grundlegende Wahrscheinlichkeitstheorie, Python und PyTorch vorausgesetzt

Kursaufbau und Lernziele

  • Flow Matching and Diffusion Models — 2026 Version ist ein Kurs, der Studierenden und Forschenden ein tieferes Verständnis von Diffusions- und Flow-Modellen vermitteln soll
  • Die behandelten Modelle sind Generative-AI-Methoden für Bilder, Videos und verschiedene andere Datentypen
  • Der Kurs ist als durchgehender Bogen von den mathematischen Grundlagen bis zur Implementierung aufgebaut
    • stochastische Differentialgleichungen
    • Fokker-Planck-Gleichung
    • schrittweise Erklärung der einzelnen Modellkomponenten
    • angeleitete Implementierung durch Übungen zu jeder Vorlesung
  • Am Ende wird ein Latent Diffusion Model von Grund auf aufgebaut
  • Empfohlener Hintergrund sind Erfahrung in Wahrscheinlichkeitstheorie und Deep Learning; vorausgesetzt werden lineare Algebra, mehrdimensionale Analysis, grundlegende Wahrscheinlichkeitstheorie, Python und PyTorch

Vorlesungsnotizen und Kursmaterialien

  • Die Vorlesungsnotizen sind das zentrale Material des Kurses und erläutern den gesamten Inhalt in sich abgeschlossen
  • Angaben zur Zitierung der Vorlesungsnotizen
    • Introduction to Flow Matching and Diffusion Models
    • Peter Holderrieth, Ezra Erives
    • 2026
    • arXiv eprint: 2506.02070

  • Vorlesungsliste

    • Vorlesung 1: Flow and Diffusion Models
      • behandelt die Einführung in generative Modelle, gewöhnliche und stochastische Differentialgleichungen sowie Sampling mit Flow- und Diffusionsmodellen
      • slides 1, Video 13
    • Vorlesung 2: Flow Matching
      • behandelt bedingte und marginale Wahrscheinlichkeits-Pfade, bedingte und marginale Vektorfelder sowie das Lernziel von Flow Matching
      • slides 2, Video 14
    • Vorlesung 3-A: Score Functions and Score Matching
      • behandelt Score-Funktionen, denoising score matching und SDE-Sampling
      • slides 3, Video 15
    • Vorlesung 3-B: Classifier-free Guidance
      • behandelt guided generation, classifier guidance und classifier-free guidance
      • slides 3, Video 16
    • Vorlesung 4: Latent Spaces and Neural Network Architectures
      • behandelt VAE und latente Räume, Diffusion Transformer und U-Nets sowie Beispiele großer Modelle
      • slides 4, Video 17
    • Vorlesung 5: Discrete Diffusion Models
      • behandelt kontinuierliche Markov-Ketten in der Zeit (CTMCs), Sampling mit CTMC-Modellen und das Training von CTMC-Modellen
      • slides 5, Video 18

Praktische Übungen

  • Der Kurs umfasst insgesamt 3 Labs, die zusammen mit dem Unterricht bereitgestellt werden und praktische Implementierungserfahrung vermitteln
  • Die Übungen sind so aufgebaut, dass Flow Matching und Diffusionsmodelle Schritt für Schritt von Grund auf erstellt werden
  • Ablauf
    • Anweisungen über den Übungslink prüfen
    • .ipynb-Notebook von GitHub herunterladen
    • in einer Jupyter-Notebook-Umgebung ausführen; Google Colab kann ebenfalls genutzt werden
    • nach Abschluss aller Fragen das Notebook als PDF exportieren und bei Gradescope auf Canvas einreichen
    • Zell-Ausgaben sollten nicht gelöscht werden, da dies die Bewertung erschwert
  • Wenn man nicht weiterkommt, kann man die Lösung zu Rate ziehen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-03-04
Meinungen auf Hacker News

  • Der MIT-Kurs „6.S184: Introduction to Flow Matching and Diffusion Models“ ist jetzt auf YouTube verfügbar.
    Er behandelt moderne generative KI-Algorithmen für Bilder, Videos, Proteine und mehr sowie die mathematischen Werkzeuge zu ihrem Verständnis.
    Flow Matching und Diffusion Models sind mathematisch anspruchsvoll, weshalb viele Vorlesungen auf der Ebene der Intuition bleiben. Dieser Kurs richtet sich zwar an KI-Einsteiger, zielt aber zugleich auf eine mathematisch strenge und in sich geschlossene Einführung ab.
    Quelle: https://x.com/peholderrieth

    • Ich wollte mir die MIT-Vorlesung zu Optik [1] ansehen, aber die Audio-/Videoqualität ist sehr schlecht. Es wäre schön, wenn jemand das verbessern könnte; vielleicht ginge das ja mit Diffusion Models.
      [1] https://ocw.mit.edu/courses/2-71-optics-spring-2009/resource...
    • Link zur YouTube-Playlist: https://www.youtube.com/watch?v=GCoP2w-Cqtg&list=PL57nT7tSGA...
    • Es wäre gut, wenn sich bei Lernmaterialien und Vorlesungen klar die Praxis durchsetzen würde, zu unterscheiden, ob es sich um „High-Level-Intuition“ handelt oder um tiefgehendes, anwendungsorientiertes Material, das das gesamte Vorwissen nicht umgeht.
      Beides ist wertvoll, aber Letzteres ist schwer zu finden in einem Meer von Einführungen, die nur Intuition vermitteln.

  • Bedingte Normalizing Flows gehören zu den elegantesten Ansätzen für inverse Design-Probleme, die ich gesehen habe, sofern man nur Daten zum Trainieren hat.
    Die Idee, die Wahrscheinlichkeitsmasse einer Basisverteilung über eine bijektive Funktion zu verschieben und vorsichtig bis an die gewünschte Stelle zu verformen, ist wirklich elegant; auch die Konstruktion dieser bijektiven Funktion selbst ist sehr clever.
    Wenn ein Teil der Zielwerte kontinuierlich und ein anderer Teil kategorial ist, wird die Anwendung zwar schwierig, aber es ist trotzdem eine sehr schöne Methode, und der Name ist meiner Meinung nach wirklich treffend gewählt.

  • Sieht nach einer großartigen Vorlesung aus, ich freue mich darauf, sie mir bald anzuhören. Diese Vorlesung scheint sich strikt auf kontinuierliche Räume zu konzentrieren, aber auch bei diskreter Diffusion passiert viel Interessantes.
    Ich frage mich, ob eine Anschlussvorlesung geplant ist. Auffällig ist, dass der Dozent Peter gerade auch ein Paper zu diskreter Diffusion veröffentlicht hat.
    https://x.com/peholderrieth/status/1891846309952282661
    https://github.com/kuleshov-group/awesome-discrete-diffusion...

  • Ich frage mich, ob es eine Sammlung öffentlicher Vorlesungen zu modernen KI-Methoden gibt.

  • Ich bin wirklich dankbar für öffentliche Vorlesungsmaterialien wie MIT OCW. Ich habe sie als ergänzendes Material für Studienfächer genutzt, und dasselbe Thema auf zwei verschiedene Arten zu lernen, hilft besonders bei schwer verständlichen Inhalten enorm.

  • Schön, diese Vorlesung hier zu sehen. LLMs scheinen dieser unglaublich nützlichen Technik viel Aufmerksamkeit entzogen zu haben.

  • Es wäre schön, wenn jemand, der mit dem Thema vertraut ist, in ein paar Sätzen die wichtigsten Einsatzgebiete und einen allgemeinen Eindruck erklären könnte.

    • Das ist das Grundprinzip hinter modernen Bildgenerierungsmodellen wie Stable Diffusion und Dalle sowie hinter Video- und Audiogenerierungsmodellen. In letzter Zeit werden diese Modelle auch in der Robotiksteuerung schnell zunehmend eingesetzt [1].
      Diese Modelle werden darauf trainiert, reine Rausch-Samples schrittweise in Richtung der Verteilung der Trainingsdaten zu schieben. Da sie mit verrauschten Versionen des Trainingssets trainiert werden, können sie beim Entrauschen Bereiche um die reale Datenverteilung besser erkunden und nutzen.
      Eines der großen Probleme von GANs ist ein Phänomen namens Mode Collapse [2].
      [1] https://www.physicalintelligence.company/blog/pi0
      [2] https://en.wikipedia.org/wiki/Mode_collapse

  • Die letzten zehn Jahre waren ein goldenes Zeitalter der Deep-Learning-Lehre. Es ist schön zu sehen, wie darum konkurriert wird, wer hochwertigere Lerninhalte kostenlos veröffentlicht.

  • Es ist großartig, dass MIT so zeitgemäße und relevante Inhalte kostenlos veröffentlicht.

  • Ich frage mich, welche anderen OCW-Vorlesungen zu moderner KI es noch gibt.