Deep Learning verstehen
(udlbook.github.io)- Eine Lernwebsite, die Coding-Übungen, Lehrmaterialien und weiterführende Lektüre an einem Ort bündelt, damit man parallel zum 2023 bei MIT Press erschienenen Buch Understanding Deep Learning von Simon J.D. Prince lernen kann
- Es stehen 68 Python-Notebooks bereit, die das gesamte Buch abdecken; gelernt wird dabei, indem die Lernenden anhand des Textes Lückencode ausfüllen
- Materialien für Lehrende umfassen Bilddateien, Video-Vorlesungen zu den ersten 12 Kapiteln, Folien, ein Lösungsheft, interaktive Abbildungen für den Unterricht sowie LaTeX-Dateien der Gleichungen
- Die Folien sind auf einen 20-teiligen Undergraduate-Kurs zu Deep Learning ausgelegt und reichen von Supervised Learning über CNNs und Bilderzeugung bis zu Transformers and LLMs
- Die weiterführende Lektüre deckt zusätzlich Computer Vision, Mathematik für Machine Learning, Optimierung, Reinforcement Learning, ML-Theorie und Responsible AI ab und eignet sich sowohl fürs Selbststudium als auch zur Vorbereitung von Lehrveranstaltungen
Buchinformationen und Zitation
- Understanding Deep Learning ist ein Buch von Simon J.D. Prince; in den BibTeX-Zitationsangaben ist vermerkt, dass es 2023 bei MIT Press erschienen ist
- Der bereitgestellte BibTeX-Eintrag enthält die folgenden Informationen
author = "Simon J.D. Prince"title = "Understanding Deep Learning"publisher = "The MIT Press"year = 2023url = "http://udlbook.com";
Coding-Übungen zum Buch
- Die Website bietet 68 Python-Notebook-Übungen, die das gesamte Buch abdecken
- Die Übungen sind so aufgebaut, dass auf Basis des Textes Lückencode ergänzt wird
- Die Notebooks liegen im GitHub-Repository
udlbook/udlbook; jeder Eintrag lässt sich überipynb/colab-Links öffnen -
Grundlagen und Aufbau neuronaler Netze
- Die frühen Kapitel behandeln mathematische Grundlagen, Supervised Learning, flache neuronale Netze, Aktivierungsfunktionen, Netzkomposition und tiefe neuronale Netze
- Zu den Übungen zu Verlustfunktionen gehören least squares loss, binary cross-entropy loss und multiclass cross-entropy loss
-
Optimierung und Lernberechnungen
- Die Optimierungs-Notebooks behandeln line search, gradient descent, stochastic gradient descent, momentum und Adam
- Zu den Übungen zur Gradientenberechnung gehören backpropagation an einem toy model, allgemeine backpropagation und initialization
-
Performance, Regularisierung und CNNs
- Performance-bezogene Übungen behandeln MNIST-1D performance, bias-variance trade-off, double descent und high-dimensional spaces
- Die Regularisierungsübungen umfassen L2 regularization, implicit regularization, ensembling, Bayesian approach und augmentation
- Zu den Convolution-Übungen gehören 1D convolution, MNIST-1D convolution, 2D convolution, downsampling & upsampling sowie convolution für MNIST
-
Moderne Deep-Learning-Themen
- Notebooks zu Netzwerkstabilisierung und -architektur behandeln shattered gradients, residual networks und batch normalization
- Die Transformer-Übungen umfassen self-attention, multi-head self-attention, tokenization und decoding strategies
- Themen zu Graph Neural Networks umfassen graph representation, graph classification, neighborhood sampling und graph attention networks
- Übungen zu generativen Modellen behandeln GAN toy example, Wasserstein distance, normalizing flows, latent variable models und diffusion models
- Übungen zu Reinforcement Learning behandeln Markov decision processes, dynamic programming, Monte-Carlo methods, temporal difference methods und control variates
- Zu den abschließenden Themen gehören random data, full-batch gradient descent, lottery tickets, adversarial attacks, bias mitigation und explainability
Vorlesungen und Lehrmaterialien
- Zu den Ressourcen für Lehrende gehören Abbildungsmaterial, Folien und ein Lösungsheft
- Nach Registrierung bei MIT Press kann über diesen Registrierungslink das answer booklet angefordert werden
- Interactive figures sind Materialien, die verwendet werden, um Ideen im Unterricht zu erklären
- Eine working Latex file mit allen Gleichungen wird bereitgestellt
-
Folien für einen 20-teiligen Undergraduate-Deep-Learning-Kurs
- Die Folien sind Material für einen 20 lecture undergraduate deep learning course
- Die veröffentlichten Foliensätze umfassen Introduction, Supervised Learning, Shallow Neural Networks, Deep Neural Networks, Loss Functions, Fitting Models, Computing Gradients, Initialization, Performance, Regularization, Convolutional Networks, Image Generation sowie Transformers and LLMs
Weiterführende Lektüre
- Die Website bündelt weitere Artikel, Blogs und Bücher im ähnlichen Stil und mit derselben Notation wie Understanding Deep Learning als Zusatzmaterial
-
Computer Vision und Grundlagen des Machine Learning
- Computer vision: models, learning, and inference ist ein 2012 bei CUP erschienenes Buch, das probabilistische Modelle in den Mittelpunkt stellt und viele ML-Inhalte aus der Zeit vor Deep Learning enthält
- Die Materialien zur Mathematik für Machine Learning behandeln lineare Algebra, eine Einführung in Wahrscheinlichkeit, Wahrscheinlichkeitsverteilungen, das Fitten von Wahrscheinlichkeitsverteilungen und die Normalverteilung
- Materialien zu Machine Learning umfassen learning and inference, regression models, classification models, few-shot learning sowie meta-learning
-
Transformers, LLMs, NLP
- Die Materialien zu Transformers und LLMs umfassen einen Überblick über LLMs, Transformers I·II·III, LLM-Training und fine-tuning sowie LLM inference speed-up
- Die NLP-Materialien behandeln neural natural language generation, parsing I·II·III und XLNet
- Zu Transformer-bezogenen Themen gehören self-attention, position encoding, multi-head-Strukturen, Transformer block, encoder, decoder und training tricks
-
Optimierung, Zeitmodelle und Reinforcement Learning
- Die Optimierungsmaterialien umfassen gradient-based optimization, Bayesian optimization und SAT Solvers I·II·III
- Materialien zu zeitlichen Modellen behandeln Kalman filter, smoothing, Extended Kalman filter, Unscented Kalman filter und particle filtering
- Das Reinforcement-Learning-Material Transformers in RL umfasst Aufgaben in RL, Vorteile von Transformern in RL, representation learning, reward learning, policy learning, interpretability und applications
-
ODEs, SDEs und ML-Theorie
- Die Sammlung ODEs and SDEs in machine learning behandelt ODEs, SDEs, gradient descent, stochastic gradient descent, residual networks, diffusion models und physics-informed machine learning
- Zugehörige Materialien umfassen eine Einführung in ODEs, closed-form solutions für ODEs, numerische Lösungsverfahren für ODEs sowie stochastic processes and SDEs
- Materialien zur ML Theory behandeln gradient flow, neural tangent kernel, NTK applications, Bayesian ML I·II, Bayesian neural networks und neural network Gaussian processes
-
Unsupervised Learning, grafische Modelle und Responsible AI
- Die Materialien zu Unsupervised Learning behandeln complex data densities, variational autoencoders und normalizing flows
- Die Materialien zu grafischen Modellen umfassen graphical models, models for chains and trees sowie models for grids
- Die Materialien zu Responsible AI umfassen bias and fairness, explainability I·II und differential privacy I·II
1 Kommentare
Hacker-News-Meinungen
Die Kommentare hier lassen sich grob in zwei Lager einteilen: 1) Man kann KI-Systeme auch ohne dieses Wissen bauen, also muss man es nicht kennen; 2) um zu verstehen, was tatsächlich passiert, braucht man dieses Grundlagenwissen.
Beides stimmt, und ich denke, das Feld spaltet sich gerade in zwei Kompetenzprofile auf: ML Engineers und ML Scientists/Researchers.
Im Team ist es gut, beides zu haben. Wissenschaftler können langsam sein, und Engineers probieren schnell verschiedene APIs und Open-Source-Modelle aus; aber wenn sie feststecken oder den Algorithmus ändern müssen, geraten viele Engineers ins Wanken. Dann braucht es eine Art F&E-Denken, die vielen Engineers fremd ist, und KI-Wissenschaftler werden wichtig.
In den letzten zehn Jahren habe ich in mehreren Teams dasselbe Muster gesehen. Ein Unternehmen bekommt etwas Budget und glaubt, sein Problem sei besonders, stellt dann promovierte Data Scientists mit ein paar Papers ein; oft können die aber nur R und sind gerade erst auf dem Niveau eines Python-Bootcamps angekommen.
Nach drei Monaten gibt es kaum Ergebnisse, nur haufenweise Jupyter-Notebooks; bei manchen gibt es keinen Produktionscode und nicht einmal eine Experimentierumgebung.
Das Business-Problem bleibt bestehen. Das Unternehmen merkt, dass es mit vielen Data Scientists und zu wenigen Data/ML Engineers bei der Produktionsbereitstellung hängen bleibt oder wegen mangelndem Python-Verständnis einen Todesstern aus Datenpipeline + Algorithmus + Infrastruktur baut und dadurch 70 % mehr Ressourcen verbraucht.
Das Projekt verzögert sich, die Leute werden ungeduldig. Jetzt schafft es ein Team für 2,5 Millionen Dollar pro Jahr nicht, per Batch oder REST API zu serven, und bekommt nicht einmal einen Proof of Concept heraus.
Das Unternehmen verliert an Schwung, während Wettbewerber unvollkommene, aber frühere Lösungen veröffentlichen, Nutzer gewinnen und diese verbessern. Danach streiten PMs und Engineering Manager über die Schuldfrage, und die VPs für Produkt/Engineering suchen einen Sündenbock. Einige Promovierte werden entlassen und gehen an regionale Hochschulen, um zu lehren.
In diesem Sinne verstehe ich nicht, woher die Trennung in ML Engineer/Scientist kommt; sie wirkt wie eine Unterscheidung, mit der sich manche selbst bestätigen wollen.
Aus der Perspektive von jemandem, der das verpasst hat: Ich frage mich, ob das, was man jetzt lernt, nur noch historische Bedeutung hat oder weiterhin für künftige Beschäftigung relevant ist.
Bei KI stelle ich mir vor, dass OpenAI allen das Mittagessen wegnehmen wird – liege ich damit völlig daneben?
Materialien wie Karpathys jüngstes Erklärvideo zu LLMs sind gute, halb übertriebene Inhalte für ein allgemeines Publikum, aber ein etwas tieferes praktisches Gefühl bekommt man nur durchs Selbermachen. Man muss nicht die ganze Mathematik auswendig kennen, aber es ist gut zu wissen, wie sich die „Interfaces“ der Bausteine anfühlen.
Wichtig ist, was jede Modelltechnik tatsächlich tut, insbesondere was sie zur Inferenzzeit tut, wenn sie gut in den restlichen Stack integriert werden muss.
Zur Frage, ob es weiterhin relevant ist: Deep Learning im Sinne dichter neuronaler Netze, die darauf trainiert sind, eine bestimmte Funktion zu optimieren, hat sich in der Praxis seit etwa 15 Jahren nicht grundlegend verändert; theoretisch ist es noch älter und für die meisten Anwendungsfälle viel wichtiger und weiter verbreitet als OpenAI-artige Systeme.
Dinge mit numerischen Schätzungen, etwa Anzeigenoptimierung oder Finanzmodellierung, nutzen keine LLMs, sondern zweckgebundene Modelle als Teil eines größeren Systems. Ein Interface nach dem Prinzip „Zahlen rein, Zahlen raus“ ist erklärbar, lässt sich leicht in einen Software-Stack integrieren und gut messen.
Es hat verständliche Fehlerbalken und ist manchmal sogar konsistent. Außerdem hat man ein kontrollierbares Interface, das nicht plötzlich Firmengeheimnisse ausspuckt oder vergisst, JSON zu serialisieren. Latenz und Kosten sind ebenfalls deutlich niedriger.
Wenn man eine Webseite in 100 ms rendern oder über Millionen von Auswahlmöglichkeiten optimieren muss, ist generative KI keine praktikable Option, und ich halte es für unwahrscheinlich, dass sie das künftig wird.
Mein Hintergrund in Mathematik oder theoretischem ML ist nicht groß, aber ich habe den Großteil der letzten zehn Jahre damit verbracht, mit ML-Experten Infrastruktur, Datenpipelines und Monitoring zu bauen. Ich kann ein Sigmoid nicht spontan integrieren, aber das ist nicht der Kern. Ich habe es einmal gemacht, habe ein Gefühl dafür, wie die Funktion funktioniert, und kann über sie als Blackbox-Baustein nachdenken.
Anders als andere Bereiche des ML greifen die Bausteine im Deep Learning gut ineinander. Wenn man will, kann man Transformer auch zusammen mit CNNs verwenden. Außerdem ermöglicht es, Machine Learning auf jede Art von Daten anzuwenden – Text, Bilder, Video, Audio usw. – und skaliert auch rechnerisch auf natürliche Weise.
Aus der Sicht von jemandem, der ziemlich stark in diesem Feld involviert ist, finde ich es schade, dass LLMs Menschen von ML und Deep Learning wegbringen und sie dem Missverständnis folgen, „jetzt gibt es keinen Grund mehr, das zu machen“. Große Algorithmen sind teuer im Betrieb, haben geringen Durchsatz und schneiden gegenüber zweckgebundenen Modellen im Allgemeinen schlechter ab. Für viele Aufgaben sind sie auch nicht einfacher zu verwenden als Encoder-Netzwerke.
Das mag voreingenommen sein, aber ich halte es für eines der interessantesten Gebiete in der Informatik, die man lernen kann. Wenn man eine gute Idee hat, kann man sogar mit einer normalen GPU zu Hause etwas auf aktuellem Niveau bauen. Man muss nur eine Nische finden, die nicht so viel Aufmerksamkeit bekommt wie LLMs.
Deep Learning ist ein Teil davon. Vieles ist bereits in Libraries und APIs gekapselt, daher geht es darum, die richtigen Daten vorzubereiten, die passende API aufzurufen und die Ergebnisse zu nutzen.
OpenAI wird zum Beispiel kein Interesse daran haben, ein kleines eingebettetes neuronales Netz auf einem Sensorchip zu entwickeln, der bestimmte Moleküle in der Luft in Echtzeit erkennt.
Dieses Buch ist beeindruckend. Es gibt auch ein Kapitel zu einem meiner Lieblingsthemen, der unvernünftigen Effektivität von Deep Learning. Gibt es noch andere Bücher, die einen Blick wert sind?
Wer es eilig hat, sollte sich Folie 123 ansehen. Die wichtigsten Empfehlungen sind Murphy, Gelman, Barber und Deisenroth.
Man sollte allerdings berücksichtigen, dass diese Folien einen bayesschen Bias haben. Trotzdem ist Murphy ein hervorragendes Deep-Learning-Buch, und auch der Einstieg über generalisierte lineare Modelle hin zu Deep Learning ist ein guter Weg.
Interessant ist, dass das berüchtigte Attention-Paper sich 10.000 Zitierungen nähert und diese Marke wohl gegen Ende des Jahres erreichen wird. Es ist wahrscheinlich das Paper, das diesen wichtigen Meilenstein am schnellsten erreicht hat.
Deep-Learning-Bücher, die vor dem Attention-Paper geschrieben wurden, sollte man als veraltet betrachten; sie müssen aktualisiert werden. Das ist ähnlich wie bei einem alten Physiklehrbuch, das zwar Newtons Gesetze enthält, aber Einsteins Energieäquivalenz auslässt.
Wenn man jetzt anfängt, über KI zu lesen und sie zu studieren, kann man dann ein nahezu Expertenniveau erreichen?
Ich mache mir Sorgen, ob ich mich damit nicht auf einen Weg begebe, für den man einen Master oder Doktortitel braucht.
Es könnten allerdings die praktischen Lektionen fehlen, also die kleinen Tipps und Intuitionen, die man braucht, um reale Systeme zum Laufen zu bringen. Das braucht Zeit, und ich denke, es ist ebenso sehr Kunst wie Wissenschaft.
Fragen wie „Kann ich Experte werden?“ sind zu vage, um ein guter Wegweiser zu sein.
Ich habe zehn Jahre lang bei bekannten Tech-Unternehmen mit verschiedenen Machine-Learning-Plattformen gearbeitet, und alles, woran ich gearbeitet habe, ist ziemlich schnell veraltet.
Von ML-Algorithmen bis hin zu Rechenplattformen war alles sehr kurzlebig. Wenn man dann noch bedenkt, dass der Großteil der ML-Innovationen von einigen wenigen Eliteunternehmen hervorgebracht wird, wirkt es fast widersprüchlich, sich viel von diesem Material anzueignen.
Machine-Learning-Algorithmen und -Ideen hingegen nicht. Wenn du SVN oder Naive Bayes gelernt hast und daraus heute nichts Nützliches mitgenommen hast, dann hast du im Grunde gar nichts gelernt.
Transformer wurden zum Beispiel entwickelt, um bei langen Sequenzen das Vanishing-Gradient-Problem von LSTMs zu lösen und das Problem zu verbessern, dass LSTMs entlang der Zeitdimension inhärent sequenziell sind und GPUs daher schlecht ausnutzen.
Die Grundlagen ändern sich kaum. In diesem Feld gibt es mehrere Strömungen, und es gibt sehr viele Algorithmen, die lange Bestand haben und tatsächlich genutzt werden. Natürlich kann man einige davon aufrüsten, wenn man möchte, aber wenn man endlos dem weißen Kaninchen hinterherjagt, bleibt am Ende nur ein Wattebausch in der Hand.
Persönlich denke ich, dass Kräfte derselben Art wie in der Evolution Technologie antreiben. Ich glaube, Linus Torvalds hat einmal gesagt, Linux habe sich durch natürliche Selektion entwickelt.
Solche Bücher sind sehr schwer zu beurteilen. Soll man sie nur anhand des Inhaltsverzeichnisses einschätzen?
Ich frage mich, wer der Autor ist, ob es andere hoch angesehene Arbeiten von ihm gibt, ob es gute Rezensionen von Leuten gibt, die den Inhalt kennen, und ob es gute Rezensionen von Studierenden gibt, die noch nichts wissen.
Dieses Buch werde ich mir als gedrucktes Exemplar kaufen.
Du fragst zwar, ob man es nur nach dem Inhaltsverzeichnis beurteilt, aber auf der verlinkten Website kann man über 500 Seiten Entwurf der Kapitel 1 bis 21 herunterladen.
Der Autor Simon J. D. Prince ist emeritierter Professor für Informatik an der University of Bath und Autor von Computer Vision: Models, Learning and Inference. Er ist Research Scientist mit Schwerpunkt KI und Deep Learning und hat sowohl in der Wissenschaft als auch in der Industrie Teams von Research Scientists geleitet, unter anderem bei Anthropics Technologies Ltd und Borealis AI.
Zu seinen weiteren hoch angesehenen Veröffentlichungen zählen mehr als 50 peer-reviewte Papers auf Top-Konferenzen wie CVPR, ICCV und SIGGRAPH: https://scholar.google.com/citations?user=fjm67xYAAAAJ&hl=en
Was Rezensionen angeht: Das Buch ist noch nicht erschienen, und was wir hier sehen, ist buchstäblich ein kostenloser Entwurf. Auf Amazon ist es für 85 Dollar vorbestellbar.
https://github.com/udlbook/udlbook/releases/download/v1.16/U...
Ich hoffe, das ist keine dumme Frage, aber wie kann man das gedruckte Buch kaufen?
https://mitpress.mit.edu/9780262048644/understanding-deep-le...
In der PDF-Abbildung scheint Why does deep learning work auf Deep learning and ethics zu verweisen, und umgekehrt ebenso.
Aus der Perspektive von jemandem, der zuletzt 2016 Ian Goodfellows Deep Learning gelesen hat, ist es interessant, dass es kein RNN-Kapitel gibt, aber ein Transformer-Kapitel.
Deshalb werden sie heute kaum noch verwendet. Persönlich halte ich sie konzeptionell jedoch für interessant genug, um sie in einer solchen Vorlesung zu behandeln.