Bayesian Data Analysis, 3. Auflage (2013) [pdf]

• Bayesian Data Analysis ist ein weit verbreitetes Lehrbuch im Bereich Statistik und Data Science
• Das Buch konzentriert sich auf probabilistische Modellierung und Bayessche Inferenz und behandelt vielfältige Analysemethoden, die sich in der Praxis anwenden lassen
• Es behandelt ausführlich rechnergestützte Verfahren und Implementierungsmethoden auf Basis realer Beispiele, darunter MCMC
• Es bietet eine ausgewogene Mischung aus Theorie und praktischen Beispielen, damit es von Einsteigern bis hin zu Experten verständlich ist
• Auch in den Bereichen Machine Learning, Medizin und Sozialwissenschaften ist es sehr gut einsetzbar

---

Einleitung

• Bayesian Data Analysis, 3. Auflage ist ein zentrales Lehrbuch, das die Bayessche Inferenz in den Bereichen Statistik, Informatik und Ingenieurwesen systematisch einführt
• Es betont probabilistisches Denken und Datenanalyse unter Unsicherheit

Konzepte der Bayesschen Modellierung

• Das Buch beginnt mit den Konzepten Priorwahrscheinlichkeit (prior) und Posteriorwahrscheinlichkeit (posterior) und erläutert detailliert Inferenzmethoden auf Grundlage realer Daten
• Es stellt die grundlegende Theorie verschiedener Wahrscheinlichkeitsverteilungen, der Parameterschätzung sowie von Vorhersageproblemen vor

Anwendungen in der praktischen Datenanalyse

• Es enthält verschiedene Fallstudien und Anwendungsbeispiele mit realen Datensätzen
• Auch praktische Techniken wie Modellentwurf, Datenvorverarbeitung und MCMC (Markov Chain Monte Carlo) für das Computing werden eingehend behandelt
• Es werden Code-Snippets bereitgestellt, die sich in Übungsumgebungen wie R und Python anwenden lassen

Fortgeschrittene Themen

• Auch fortgeschrittene statistische Modelle wie hierarchische Modelle, multivariate Analyse und nichtparametrische Bayes-Methoden werden breit behandelt
• Zudem werden praxisnahe Methoden zur Modelldiagnose und Optimierung beschrieben

Nutzung und Einfluss

• Dieses Buch wird kontinuierlich als Referenz in einem breiten Spektrum von Fachgebieten genutzt, darunter Machine Learning, Bioinformatik, medizinische Statistik, Management und Sozialwissenschaften
• Man kann damit Werkzeuge und Prozesse der Bayesschen Analyse systematisch erlernen, die sich direkt im Berufsalltag anwenden lassen

[GN⁺]

Hacker-News-Kommentare

• Das ist mein Lieblingsbuch über Statistik. Autor Andrew Gelman hat durch seine theoretische Forschung zu hierarchischen Bayes-Modellen ein neues Teilgebiet der Bayes-Statistik geprägt und für die praktische Anwendung außerdem Stan veröffentlicht. Ich habe dieses Buch etwa ein Jahr lang immer wieder durchgearbeitet, einschließlich der Anhänge. Danach war es eine sehr wertvolle Grundlage für die weitere Beschäftigung mit hierarchischen Bayes-Modellen. Es ist weniger ein Einstiegsbuch als vielmehr eine starke Empfehlung für alle, die ihre statistischen Fähigkeiten auf die nächste Stufe heben wollen. Ich empfehle, zuerst die Kapitel 1 bis 5 zu lesen, um Gelmans Modellierungsphilosophie gut zu verstehen, und dann anhand des Inhaltsverzeichnisses interessante Themen gezielt auszuwählen
  • Ich mag Gelman wirklich sehr, aber die Formulierung, er habe „ein neues Teilgebiet der Bayes-Statistik begründet“, ist etwas übertrieben
  • Hier wird gefragt, ob es Statistikbücher oder Vorlesungen gibt, die man vor diesem Buch lesen sollte, um es besser zu verstehen
  • Es wird gefragt, ob es gute Bücher gibt, die sich auf Statistik mit Fokus auf reale Tests in Bereichen wie medizinische Forschung, Optimierung oder Fertigung konzentrieren
• Ich bin zum ersten Mal durch eine großartige visuelle Erklärung der linearen Regression auf Gelman gestoßen. Dort wurde auch Regression and Other Stories zitiert, aber die Bayes-bezogenen Kapitel wurden nicht behandelt, daher wollte ich dazu noch mehr lesen
• Ich habe selbst erlebt, wie nützlich Bayes-Analyse sein kann. Unser Team musste einmal überlegen, wie viele Elemente aus mehreren Millionen gesampelt werden müssen, um eine Qualitätsprüfung zu ermöglichen, und dabei haben wir mit Bayes-Analyse eine sehr elegante Lösung gefunden. Die Mathematik selbst war nicht schwierig, und trotzdem hat es mich überrascht, wie konservativ Ingenieure beim Erlernen solcher grundlegenden Techniken waren, obwohl doch alle im ersten Studienjahr Mathematik gelernt haben
  • Mich würde interessieren, was die Ingenieure abgelehnt haben und warum sie das lernen sollten. Viele Ingenieure besuchen zwar Einführungskurse in Statistik, aber warum sie zusätzlich Bayes-Statistik lernen sollten, ist nicht so klar. Dinge wie p-Werte, die Interpretation von Regressionskoeffizienten oder Interaktionseffekte sind ohnehin schon schwer korrekt zu interpretieren und in der Praxis oft nur begrenzt nützlich. Umgekehrt müssen Data Scientists ja auch nicht die komplette Technik hinter Deployment-Automatisierungspipelines, Kubernetes-Pods oder verteiltem Training von pytorch-Modellen beherrschen — dafür gibt es Arbeitsteilung
• BDA ist das beste Buch, um Bayes-Modellierung streng und in der Tiefe zu lernen. Daneben gibt es verschiedene andere Ansätze, etwa Richard McElreaths Statistical Rethinking oder Regression and Other Stories von Gelman und Aki. Ich selbst habe ein Buch geschrieben, das stärker auf Code und Beispiele setzt, und es ist kostenlos als Open Access verfügbar
• Das zugehörige Vorlesungsmaterial findet sich hier
• Ich mag den Statistikblog aus Columbia, der maßgeblich von Gelman betrieben wird. Auf statmodeling.stat.columbia.edu finden viele verschiedene Statistikdiskussionen statt
  • Danke fürs Teilen — falls du besonders eindrucksvolle Beiträge empfehlen kannst, wäre ich daran sehr interessiert
• Für Einsteiger fand ich John Kruschkes Doing Bayesian Data Analysis viel besser, weil es leicht verständlich und angenehm zu lesen ist
  • BDA ist ein Buch für Graduierte; die Mathematik ist nicht außergewöhnlich schwer, setzt aber mindestens eine erste Vorlesung in mathematischer Statistik voraus
• Ich interessiere mich sehr dafür, aber dieses Lehrbuch fühlt sich für mich zu anspruchsvoll an. Für System-Performance-Ingenieure wäre ein Schnellkurs hilfreich, mit dem man nur die Bayes-Methoden zügig lernen kann. Falls sich jemand in beiden Bereichen auskennt: Welche Inhalte sollte so ein Kurs abdecken, und welche Materialien zum Selbststudium würdet ihr empfehlen?
  • Das Buch, das ich beim Unterrichten von Statistik unbedingt verwende, ist Statistical Rethinking. Es konzentriert sich darauf, wie man tatsächlich über Modellierung nachdenkt — also darauf, Hypothesen zu analysieren und zu verstehen, welche Hypothesen ein Modell impliziert. Das ist zwar auch anspruchsvoll, aber zugleich der interessante Teil, und dieses Buch vermittelt ihn sehr gut. Der Nachteil ist, dass es nicht kostenlos ist (allerdings sind die Vorlesungen des Autors kostenlos auf YouTube verfügbar, daher kann ich die Vorlesungen auch ohne Buch sehr empfehlen). Zusätzlich ist Regression and Other Stories, an dem Gelman mitgeschrieben hat, ein Buch, das dieses Thema zugänglicher erklärt. Think Bayes und Bayesian Methods for Hackers empfehle ich ebenfalls für Einsteiger mit Programmierhintergrund. Wenn du ein Buch suchst, das die Vorteile probabilistischer (Bayes-)Methoden im Bereich Machine Learning hervorhebt, empfehle ich Kevin Murphys Probabilistic Machine Learning. Ich habe nur die alte Ausgabe gelesen, aber über die neue habe ich ebenfalls sehr Gutes gehört
  • Auch Bayesian Methods for Hackers (GitHub) sowie die Online-Materialien zu O'Reilly Bayesian Methods for Hackers sind sehenswert
• Grundlegendes quantitatives Denken und statistisches Gespür bleiben weiterhin wichtig. Auch wenn man es nicht über Bayes lernt, muss man es irgendwo lernen. Nach der „Wurzel-n-Regel“ verbessert sich das Signal-Rausch-Verhältnis proportional zur Quadratwurzel der Anzahl der Messungen. Aber wie mein Vater sagte: Je mehr schlechte Daten man mittelt, desto größer ist auch die Gefahr, sich einer immer falscheren Antwort anzunähern
• Foundation Models kann man als eine Art Approximator für posteriori Wahrscheinlichkeiten bzw. Inferenz sehen, wobei Unsicherheit dabei meist ausgelassen wird. Mit einem stärkeren Einsatz Bayes-artiger Ansätze könnten die Ergebnisse möglicherweise noch besser sein
• Es gibt viele Probleme, bei denen die Datensätze nicht riesig sind, deshalb sind Foundation Models nicht für jede Situation passend; je nach Aufgabe bleiben Bayes-Methoden weiterhin sehr wirksam
• Die Bayes-Regel ist grundlegend für probabilistische Inferenz, deshalb braucht man Bayes-Methoden, um Unsicherheit quantitativ zu behandeln. Für Deep-Learning-Modelle ist die Anwendung derzeit noch nicht effizient genug, aber prinzipiell kann sie bessere Ergebnisse liefern
• Auch mit großen Datenmengen und neuronalen Netzen lassen sich Bayes-Modelle (etwa mit variationaler Inferenz) gut fitten, daher bleibt das Thema relevant
• Ich warte auf das Buch Bayesian workflow