Bayessche Statistik: drei Kulturen

Subjektiver Bayes (Subjective Bayes)

• Die traditionelle Schule des subjektiven Bayes geht von einer datenerzeugenden Verteilung aus, also von der Likelihood als Funktion der Parameter
• Unter dieser Annahme werden Vorüberzeugungen als Priorverteilung über die Parameter kodiert
• Anschließend wird die Posterior-Inferenz durchgeführt, ohne weiter zurückzublicken
• Es ist unklar, ob heute noch jemand diese Philosophie strikt befolgt oder sich selbst als Anhänger des subjektiven Bayes versteht

Objektiver Bayes (Objective Bayes)

• Die Philosophie des „objektiven Bayes“ entspringt der Verbindung aus dem Wunsch nach Hypothesentests unter Verwendung von Bayes-Faktoren und dem starken Gefühl dessen, was Andrew als „Bayes cringe“ bezeichnet
• Zitat aus einem Paper eines führenden Vertreters:

Referenzanalyse erzeugt objektive Bayessche Inferenz in dem Sinn, dass inferenzielle Aussagen ausschließlich vom angenommenen Modell und den verfügbaren Daten abhängen, und dass die in der Inferenz verwendete Priorverteilung im informationstheoretischen Sinn minimale Information enthält

• Dass weiterhin viele Menschen in dieser Tradition arbeiten, zeigt sich unter anderem an Konferenzen und an Büchern mit „Objective Bayes“ im Titel
• Sie steckt zum Teil hinter den in BUGS-Beispielen weit verbreiteten Priors gamma(epsilon, epsilon) und normal(0, 10_000)

Pragmatischer Bayes (Pragmatic Bayes)

• Andrew folgt einer Philosophie, die er „pragmatischen Bayes“ nennt
• Sie ist klar in der ersten Auflage von Gelman, Carlin, Stern und Rubins Buch "Bayesian Data Analysis" dargelegt

1. Ein vollständiges Wahrscheinlichkeitsmodell aufstellen, also eine gemeinsame Wahrscheinlichkeitsverteilung für alle beobachtbaren und unbeobachtbaren Größen. Das Modell sollte mit dem Wissen über das zugrunde liegende wissenschaftliche Problem und den Datenerhebungsprozess übereinstimmen
2. Die geeignete Posteriorverteilung berechnen und interpretieren, also die bedingte Wahrscheinlichkeitsverteilung der interessierenden unbeobachtbaren Größen gegeben die beobachteten Daten
3. Die Anpassung des Modells und die Implikationen der resultierenden Posteriorverteilung bewerten: Wie gut passt das Modell zu den Daten, sind die inhaltlichen Schlussfolgerungen vernünftig, und wie sensitiv sind die Ergebnisse gegenüber den Modellannahmen aus Schritt 1. Daraufhin kann das Modell modifiziert oder erweitert und die drei Schritte können wiederholt werden

• Genau dies ist der Prozess, den Andrew später schließlich „Workflow“ nannte

Standardvorgehen im Engineering

• Dies ist das Standardvorgehen, das im Engineering als „iteratives Design“ bezeichnet wird
• Fast das gesamte Machine Learning funktioniert auf diese Weise
• Mit meinem Hintergrund in CS und ML war ich schockiert darüber, dass Statistiker offenbar nicht auf diese Weise denken

Nachbemerkung zur Strategie beim Schreiben von BDA

• Andrew sagt, dass er sich zu Beginn des Schreibens der ersten BDA-Auflage bewusst dafür entschied, die Philosophie zu überspringen und einfach Wissenschaft zu „betreiben“
• Er und Rubin gaben ihrem iterativen Designprozess keinen Namen
• Das war eine kluge Entscheidung, denn es ist schwer, die philosophischen Überzeugungen anderer präzise zu charakterisieren, und noch schwerer, sie durch Diskussionen zu verändern
• Wenn die wissenschaftliche Methode einen wissenschaftsphilosophischen Haftungsausschluss braucht, ist sie vermutlich keine besonders überzeugende Wissenschaft

Nachbemerkung zu Likelihood vs. Priorverteilung

• Ich stimme Andrews Ansicht zu, dass die Wahl der Priorverteilung nicht „subjektiver“ und auch nicht weniger „subjektiv“ ist als die Wahl der Likelihood
• Andrew fasst das prägnant in seinem Text „straining on the gnat that is the prior distribution while swallowing the camel that is the likelihood“ zusammen

Nachbemerkung zu Überzeugung vs. Wissen

• Aus philosophischer Sicht bevorzuge ich es, Priorverteilungen und Likelihoods epistemologisch eher in Begriffen von „Wissen“ als von „Überzeugung“ zu charakterisieren
• Das ist der Rahmen, den Laplace zuerst bereitstellte, den John Stuart Mill gründlicher untersuchte und dem Gelman und andere in BDA folgten

Nachbemerkung zur Etymologie dieses Posts

• 1959 schrieb C.P. Snow den berühmten Essay „Die zwei Kulturen“ über Kunst vs. Wissenschaft
• 2001 schrieb L. Breiman den einflussreichen Essay „Statistical Modeling: The Two Cultures“ über die Unterscheidung zwischen expliziter Modellierung des Erzeugungsprozesses und der Verwendung sehr flexibler Modelle
• Breiman setzte sich in seiner Arbeit für Decision Forests ein, und sein Ansatz gewinnt noch immer bei Kaggle-Wettbewerben, in denen nicht genug Daten vorhanden sind, um hochmoderne neuronale Netze zu trainieren
• Ich frage mich, ob Andrew Decision Forests und neuronale Netze als Beispiel für das ansehen würde, was er eine „blühende Blume“ nannte

Meinung von GN+

• Die beiden traditionellen Ansätze, subjektiver Bayes und objektiver Bayes, sind zu extrem. Der pragmatische Bayes-Ansatz bietet einen realistischen und nützlichen Kompromiss
• Ich stimme der Sicht zu, dass die Wahl der Priorverteilung genauso subjektiv ist wie die Wahl der Likelihood. Alle Bestandteile eines Modells beinhalten Subjektivität und Annahmen
• Der „Workflow“-Ansatz, bei dem man das Modell bewertet, die Vorhersageleistung prüft und bei Bedarf iteriert, sollte in der Wissenschaft Standard werden
• Die Verwendung informativer Priors auf Basis historischer Daten ist nicht selten und sollte in mehr bayesschen Analysen genutzt werden
• Letztlich ist es eine kluge Strategie, sich eher darauf zu konzentrieren, Wissenschaft tatsächlich zu betreiben, als auf die Philosophie der Bayesschen Inferenz. Dennoch ist es manchmal wertvoll, über die Grundlagen der Inferenz zu diskutieren