Buch über physikbasiertes Deep Learning
(physicsbaseddeeplearning.org)- Physics-based Deep Learning Book v0.3 ist ein digitales Buch, das physikalische Simulation und Deep Learning gemeinsam behandelt und anhand ausführbarer Beispiele zeigt, wie numerische Verfahren mit neuronalen Netzen kombiniert werden können
- In der GenAI edition liegt ein stärkerer Schwerpunkt auf generativer Modellierung; enthalten sind denoising, flow-matching, autoregressive learning, physikintegrierte Constraints und diffusion-basierte Graph Networks
- Der Lernumfang beginnt bei überwachtem Lernen und reicht über physikalische Loss-Constraints, differenzierbare Simulation, diffusion-basierte Ansätze, Reinforcement Learning bis zur Auswahl von neuronalen Netzwerkarchitekturen
- Die angekündigten Kapitel behandeln praxisnahe physikalische Probleme wie die Vorhersage von Strömungen um Airfoils, residualbasierte Gleichungslernverfahren, inverse problems und Verfahren, bei denen der Simulator in die Trainingsschleife eingebunden wird
- Alle Codebeispiele sind auf Jupyter Notebooks ausgelegt, die sich im Browser ausführen und bearbeiten lassen, sodass man nicht nur Konzepte liest, sondern direkt experimentieren kann
Lernbuch für Deep Learning in der physikalischen Simulation
- Das Physics-based Deep Learning Book ist ein praxisorientierter Gesamtleitfaden für Deep Learning im Bereich der physikalischen Simulation
- Das Dokument verbindet theoretische Erklärungen mit interaktiven Jupyter Notebooks, sodass sich jedes Konzept direkt ausführen und überprüfen lässt
- Behandelt werden unter anderem folgende Themen
- klassisches überwachtes Lernen
- physikalische Loss-Constraints
- differenzierbare Simulation
- diffusion-basierte Ansätze für probabilistische generative AI
- Reinforcement Learning
- fortgeschrittene neuronale Netzwerkarchitekturen
- Die wichtigste Neuerung der GenAI edition v0.3 ist ein Kapitel zur generativen Modellierung
- denoising
- flow-matching
- autoregressive learning
- physics-integrated constraints
- diffusion-based graph networks
- Hinzugekommen ist außerdem ein eigener Abschnitt zu neural architectures, die speziell für physikalische Simulationen entwickelt wurden, und alle Codebeispiele wurden auf aktuelle Frameworks aktualisiert
Angekündigte Kapitel und Praxisansatz
- In den folgenden Kapiteln wird behandelt, wie sich mit diffusion modeling Strömungen um ein Airfoil vorhersagen lassen
- Dieser Ansatz liefert ein probabilistisches surrogate model, das bestehende Simulatoren ersetzen und übertreffen kann
- Ebenfalls enthalten ist, wie Netzwerke lernen können, Lösungen darzustellen, indem Modellgleichungen als Residuen verwendet werden
- Diese Residual-Constraints können mithilfe differenzierbarer Simulation verbessert werden
- Außerdem wird gezeigt, wie sich durch engere Interaktion mit einem vollständigen Simulator inverse problems lösen lassen
- An einem Ansatz, bei dem der Simulator in die Trainingsschleife eingebunden wird, wird gezeigt, wie sich Konvergenzprobleme klassischer Reinforcement-Learning-Methoden umgehen lassen
- Auch die Auswahl einer geeigneten Netzwerkarchitektur ist ein zentrales Thema
- global interaction und local interaction
- continuous representation und discrete representation
- structured graph mesh und unstructured graph mesh
- Die PBDL-Ansätze werden in der Reihenfolge vorgestellt, in der die Integration physikalischer Modelle in Deep Learning schrittweise zunimmt
- Dabei werden jeweils auch Vor- und Nachteile sowie geeignete Einsatzszenarien erläutert
- Die Codebeispiele basieren auf Jupyter Notebooks, die direkt im Browser ausgeführt werden können
- Im Google Colab teaser notebook lassen sich die Beispiele ausführen und anpassen
- Das Buch wird von der Physics-based Simulation Group der TUM gepflegt; zusätzlich gibt es eine Linksammlung mit aktuellen Forschungsarbeiten
1 Kommentare
Hacker-News-Kommentare
Chris Rackauckas stellte in einem dichten Überblicksvortrag vom Oktober 2022 Scientific Machine Learning anhand von Beispielen aus verschiedensten Bereichen vor, darunter Epidemien, Gravitationswellen, Pharmakometrie und Ozeansimulationen.
Er behandelt auch Open-Source- und proprietäre Julia-Bibliotheken für SciML, daher ist der Vortrag sehr informationsreich.
https://www.youtube.com/watch?v=yHiyJQdWBY8
Der Titel sollte meiner Meinung nach deutlich geändert werden. Das ist kein Buch über physikbasiertes Deep Learning.
Es ist eher ein Buch über den von dieser Forschungsgruppe entwickelten Deep-Learning-Ansatz für physikalische Probleme, und das ist aus meiner Sicht ein sehr wichtiger Hinweis.
Außerdem wird es faktisch stark dazu genutzt, ihr Simulations-Framework Phi-Flow zu pushen, daher lässt es sich schwerlich als Buch bezeichnen, das das gesamte Feld präzise beschreibt.
Chris hat in diesem Genre gute Arbeit geleistet, und auch das Julia-Paket für Differentialgleichungen zur Unterstützung von Physik bzw. Scientific ML ist ziemlich cool.
https://www.stochasticlifestyle.com/the-essential-tools-of-s...
Ich finde keine Möglichkeit, das ganze Buch als PDF herunterzuladen. Der Download-Button oben scheint nur einzelne Seiten herunterzuladen.
Soweit ich weiß, wurde es mit Jupyter Book erstellt, aber auch in der Dokumentation habe ich dazu nichts gefunden.
[1] https://jupyterbook.org/en/stable/intro.html
Gute zusätzliche Materialien sind die Mathe+ML-Vorträge der CRUNCH group auf YouTube, Steve Bruntons Playlist „Physics Informed Machine Learning“, Steve Bruntons Buch „Data Driven Science and Engineering“ sowie „Deep Learning in Scientific Computation“ der ETH Zürich.
CRUNCH group YouTube: https://m.youtube.com/channel/UC2ZZB80udkRvWQ4N3a8DOKQ
Steve-Brunton-Playlist: https://m.youtube.com/playlist?list=PLMrJAkhIeNNQ0BaKuBKY43k...
ETH-Zürich-Vorlesung: https://m.youtube.com/playlist?list=PLJkYEExhe7rYY5HjpIJbgo-...
Es gibt auch eine frühere Diskussion aus dem Jahr 2021.
https://news.ycombinator.com/item?id=28500577