Deep Learning verstehen

Zusammenfassung des Buchinhalts

• Das Buch "Understanding Deep Learning" von Simon J.D. Prince soll am 5. Dezember 2023 bei MIT Press erscheinen.
• Das Buch behandelt verschiedene Themen, um das Verständnis von Deep Learning zu fördern, und erklärt sie so, dass auch Junior-Softwareentwickler sie verstehen können.
• Zu den Hauptinhalten des Buchs gehören Supervised Learning, neuronale Netze, Verlustfunktionen, Modelltraining, Leistungsmessung, Regularisierung, Convolutional Networks, Residual Networks, Transformer, Graph Neural Networks, Unsupervised Learning, Generative Adversarial Networks, Normalizing Flows, Variational Autoencoder, Diffusionsmodelle, Deep Reinforcement Learning, die Funktionsweise von Deep Learning sowie Deep Learning und Ethik.

Materialien für Lehrende

• Ein Lösungsheft für Lehrende wird über MIT Press bereitgestellt, wenn entsprechende Nachweise vorgelegt werden.
• Prüfexemplare können über MIT Press angefordert werden.
• Abbildungen zu jedem Kapitel werden im PDF-, SVG- und PowerPoint-Format bereitgestellt.

Materialien für Studierende

• Antworten auf ausgewählte Fragen sowie Python-Notebooks werden bereitgestellt, damit Studierende Deep Learning durch praktische Übungen besser verstehen können.
• Die Notebooks behandeln eine Vielzahl von Themen, darunter mathematische Grundlagen, Supervised Learning, flache neuronale Netze, tiefe neuronale Netze, Verlustfunktionen, Modelltraining, Gradienten und Initialisierung, Leistungsmessung, Regularisierung, Convolutional Networks, Residual Networks, Transformer, Graph Neural Networks, Generative Adversarial Networks, Normalizing Flows, Variational Autoencoder, Diffusionsmodelle, Deep Reinforcement Learning, die Funktionsweise von Deep Learning sowie Deep Learning und Ethik.

Meinung von GN⁺

• Dieses Buch bietet ein umfassendes Verständnis von Deep Learning und ist für Lernende nützlich, da es sowohl theoretische Erklärungen als auch praktische Anwendungsbeispiele enthält.
• Es bietet Junior-Softwareentwicklern Materialien, mit denen sie von den Grundkonzepten bis zu fortgeschrittenen Themen des Deep Learning systematisch lernen können, und schafft so die Möglichkeit, Interesse und Wissen in diesem Bereich auszubauen.
• Besonders wichtig ist, dass Python-Notebooks für praktische Übungen und Materialien für Lehrende enthalten sind, sodass theoretisches Wissen bei der Lösung realer Probleme angewendet werden kann.

[GN⁺]

Hacker-News-Kommentare

• • Die Kommentare lassen sich im Großen und Ganzen in zwei Positionen einteilen: 1) Dieses Wissen ist nicht nötig, um AI-Systeme zu bauen, 2) Dieses Grundlagenwissen ist nötig, um zu verstehen, was tatsächlich passiert.
  • Beide Sichtweisen sind richtig. Das Feld teilt sich gerade in ML-Ingenieure und ML-Wissenschaftler (oder Forscher).
  • Es ist gut, beide Typen im Team zu haben. Wissenschaftler können langsam sein, und Ingenieure werden durch das Ausprobieren verschiedener APIs und Open-Source-Modelle vorausgehen. Wenn sie jedoch auf Hindernisse stoßen oder Algorithmen anpassen müssen, können viele Ingenieure Schwierigkeiten bekommen. Dafür braucht es ein R&D-Mindset, das vielen Ingenieuren fremd ist.
  • An diesem Punkt wird die Bedeutung des AI-Wissenschaftlers deutlich.
• • Wenn ich jetzt anfange, AI zu lernen, kann ich dann noch in die Nähe eines Experten kommen?
  • Sorge davor, eine Reise zu beginnen, für die man vielleicht einen Master- oder Doktortitel braucht.
• • Es wird gefragt, ob das Lernen in diesem Bereich inzwischen nur noch aus historischem Interesse sinnvoll ist oder ob es auch für künftige Jobs weiterhin relevant ist.
  • Dabei wird sich vorgestellt, dass OpenAI irgendwann alles rund um AI beherrschen wird, und es wird bezweifelt, ob diese Sichtweise stimmt.
• • Dieses Buch ist beeindruckend. Das Kapitel über die „unvernünftige Wirksamkeit von Deep Learning“ gefällt mir. Gibt es noch andere Bücher, die man beachten sollte?
• • Arbeitete jahrzehntelang bei bekannten Technologieunternehmen auf verschiedenen Machine-Learning-Plattformen. Alles, woran gearbeitet wurde, wird schnell veraltet. Von ML-Algorithmen bis zu Computing-Plattformen ist alles wechselhaft. Nur einige wenige Elite-Unternehmen treiben sämtliche ML-Innovationen voran, weshalb es für viele widersprüchlich wirkt, solches Material zu lernen.
• • Es ist schwer, so ein Buch zu bewerten... (nur anhand des Inhaltsverzeichnisses?)
  • Wer ist der Autor?
  • Gibt es andere hoch bewertete Veröffentlichungen?
  • Gibt es gute Rezensionen von Leuten, die sich in diesem Bereich auskennen?
  • Gibt es gute Rezensionen von Studenten, die nichts darüber wissen?
• • Vielleicht eine dumme Frage, aber: Wie kauft man das eigentliche Buch?
• • Es scheint, als zeige die PDF-Grafik zu „Warum Deep Learning funktioniert“ auf „Deep Learning und Ethik“ und umgekehrt.
• • Großartige Arbeit, und es ist erstaunlich, das kostenlos bereitzustellen!!
• • Es gibt zwar kein Kapitel über RNNs, aber es ist interessant, dass es ein Kapitel über Transformer gibt, nachdem ich zuletzt 2016 Ian Goodfellows „Deep Learning“ gelesen habe.