Der t-Test, geboren in der Guinness-Brauerei
(scientificamerican.com)- Der in der Wissenschaft weit verbreitete t-Test zur Beurteilung statistischer Signifikanz entstand aus einem Problem der Qualitätskontrolle bei der Bierherstellung
- Anfang des 20. Jahrhunderts wollte Guinness, damals die größte Brauerei der Welt, die Qualitätskontrolle, die auf Augenmaß und Geruch beruhte, auf Konsistenz und industrielle Strenge umstellen
- William Sealy Gosset entwickelte eine Methode, um in Situationen, in denen nur kleine Stichproben gemessen werden können, wie etwa beim Harzgehalt von Hopfen, tatsächliche Unterschiede von zufälligen Schwankungen zu unterscheiden
- Der t-Test nutzt ein Signal-Rausch-Verhältnis, das sowohl die Differenz der Stichprobenmittelwerte als auch die Streuung der Daten berücksichtigt; bei kleinen Stichproben ist statt der Normalverteilung eine t-Verteilung mit schwereren Enden nötig
- Da Guinness nicht wollte, dass Wettbewerber von den Forschungsergebnissen erfuhren, veröffentlichte Gosset unter dem Pseudonym „Student“, und die Methode ist bis heute ein zentrales statistisches Werkzeug der Wissenschaft
Statistische Methode aus der Guinness-Qualitätskontrolle
- Die Guinness-Brauerei war schon immer für innovative Methoden bekannt, seit Gründer Arthur Guinness in Dublin für 45 Pfund pro Jahr einen 9.000-Jahre-Pachtvertrag abschloss
- Zu den Innovationen rund ums Bier gehörte eine chemische Methode des Mathematikers und Brauers Michael Edward Ash, die nach vier Jahren Versuchen entstand
- Diese Methode wird verwendet, um die weiche Schaumschicht des Guinness stout zu erzeugen
- Dazu gehört, Stickstoffgas in Fässer und in kleine Kugeln in Dosen zu füllen
- Daraus entwickelte sich später der „nitro brew“-Stil bei Bier und Kaffee
- Die einflussreichste Innovation aus der Brauerei war jedoch nicht das Bier selbst, sondern der t-Test
Das Problem kleiner Stichproben in der größten Brauerei der Welt
- Anfang des 20. Jahrhunderts war Guinness nach fast 150 Jahren Betrieb die größte Brauerei der Welt
- Damals stützte sich die Qualitätskontrolle von Produkten weitgehend auf Augenmaß und Geruchsprüfung
- Mit den wachsenden Anforderungen einer globalen Expansion wollte das Management zu einer Qualitätskontrolle übergehen, die konsistenter und industriell strenger war
- Das Unternehmen stellte ein Forschungsteam ein und gab ihm den Spielraum, Fragen zur Herstellung des perfekten Biers zu untersuchen
- Wo die besten Gerstensorten wachsen
- Welcher Zuckergehalt für Malzextrakt ideal ist
- Wie stark die neueste Werbekampagne den Umsatz gesteigert hat
- Ein wiederkehrendes Kernproblem des Forschungsteams war die Interpretation von Daten bei kleinen Stichprobengrößen
Statistische Signifikanz am Beispiel von Hopfen
- Hopfenblüten waren eine wichtige Zutat für die Bitterkeit von Guinness und ihre natürliche konservierende Wirkung, und Brauer maßen zur Bewertung der Hopfenqualität den Gehalt an soft resin
- Im Beispiel wird ein guter typischer Wert von 8 % angenommen; bei Messung von 9 Proben liegen die Werte zwischen 4 und 10 %, der Mittelwert beträgt 6 %
- Es war wirtschaftlich nicht möglich, alle Blüten zu prüfen, daher mussten Zufallsstichproben untersucht werden
- Wenn der Stichprobenmittelwert 6 % beträgt, gibt es zwei mögliche Deutungen
- Der soft resin-Gehalt der gesamten Ernte ist tatsächlich ungewöhnlich niedrig
- Die gesamte Ernte ist normal, aber zufällig wurde nur eine niedrige Stichprobe gezogen
- Der Kern der Beurteilung besteht darin, zu unterscheiden, ob der niedrige Harzgehalt der Stichprobe signifikant von 8 % abweicht oder nur natürliche Schwankung ist
Eine wiederkehrende Entscheidung in der gesamten Wissenschaft
- Dieses Problem ist nicht auf das Brauen beschränkt, sondern tritt in der gesamten wissenschaftlichen Forschung auf
- Wenn sich in einer medizinischen Studie sowohl die Behandlungsgruppe als auch die Placebogruppe verbessert haben, die Behandlungsgruppe aber etwas besser, muss beurteilt werden, ob es genügend Evidenz gibt, dieses Medikament zu empfehlen
- Wenn zwei Gruppen unterschiedliche Placebos erhalten haben und eine Seite bessere Ergebnisse zeigte, muss unterschieden werden, ob dieses Placebo eine Wirkung hat oder ob es sich um eine natürliche Verbesserung handelt
- Solche Urteile laufen letztlich auf die Frage der statistischen Signifikanz hinaus
Was Gossets t-Test löste
- Eine Theorie, die solche Probleme bei kleinen Stichproben behandelt, wurde erst entwickelt, als William Sealy Gosset von Guinness den t-Test schuf
- Das Konzept statistischer Signifikanz selbst gab es schon vor Gosset, doch frühere Statistiker befassten sich überwiegend mit großen Stichproben
- Im Hopfenbeispiel lautet die Frage, wie hoch die Wahrscheinlichkeit ist, in einer Welt, in der der Mittelwert der Gesamternte 8 % beträgt, einen so extremen Wert wie einen Mittelwert von 6 % zu beobachten
- Diese Wahrscheinlichkeit wird P-Wert genannt; traditionell gilt ein Wert unter 5 % oder 0,05 häufig als statistisch signifikant
- Je nach Anwendungsgebiet kann der Grenzwert jedoch unterschiedlich sein
Signal, Rauschen und die t-Verteilung
- Auf den P-Wert wirken in der Regel zwei Faktoren ein
- Wie weit die Stichprobe von dem in der Grundgesamtheit erwarteten Wert entfernt ist
- Wie häufig große Abweichungen auftreten
- Die Differenz zwischen dem Stichprobenmittelwert von 6 % und dem erwarteten Wert von 8 % entspricht dem Signal
- Je größer die Differenz, desto wahrscheinlicher ist es, dass der soft resin-Gehalt der Ernte tatsächlich niedrig ist
- Die Standardabweichung zwischen den Blüten entspricht dem Rauschen
- Wenn die Standardabweichung groß ist, muss ein Mittelwert von 6 % nicht besonders besorgniserregend sein
- Wenn die Standardabweichung klein ist, kann 6 % ein echtes Signal dafür sein, dass der Wert vom erwarteten 8-%-Niveau abweicht
- Im Idealfall berechnet man das Signal-Rausch-Verhältnis und beurteilt, ob dieses Verhältnis groß genug ist, um den 5-%-Schwellenwert zu erreichen
- Die Statistiker zu Gossets Zeit wussten, dass bei wiederholter Durchführung von Experimenten und Darstellung des Signal-Rausch-Verhältnisses etwas entsteht, das der Standardnormalverteilung, also der Glockenkurve, ähnelt
- Gosset erkannte jedoch, dass dieser Ansatz nur bei großen Stichproben gut funktioniert und bei kleinen Hopfenstichproben keine Normalverteilung garantiert
- Er stellte sorgfältig eine neue Verteilung für kleine Stichprobengrößen tabellarisch zusammen; heute ist sie als t-Verteilung bekannt
- Die t-Verteilung ist wie die Normalverteilung glockenförmig, hat aber schwerere Enden
- Deshalb ist bei kleinen Stichproben ein größeres Signal-Rausch-Verhältnis nötig, um Signifikanz festzustellen
Warum das aus einer Brauerei kam
- John D. Cook schrieb 2008 in einem Blogbeitrag, dass es vielleicht gar nicht überraschend sei, dass der t-Test nicht in einem Weingut, sondern in einer Brauerei entstand
- Der Unterschied sei, dass Bierbrauer Konsistenz im Produkt verlangen, während Weinproduzenten Vielfalt schätzen
- Beim Wein gibt es „gute Jahrgänge“ und jede Flasche erzählt eine Geschichte, Guinness dagegen muss jedes Mal denselben unverwechselbaren Geschmack liefern
- Diese Forderung nach Gleichförmigkeit führte so zu statistischer Innovation
Der Name „Student’s t-test“
- Gosset löste mit der neuen Methode verschiedene Probleme in der Brauerei
- Der Autodidakt unter den Statistikern veröffentlichte den t-Test unter dem Pseudonym „Student“, weil Guinness nicht wollte, dass Wettbewerber von den Forschungsergebnissen erfuhren
- Gosset war ein Wegbereiter des industriellen Qualitätsmanagements und steuerte viele Ideen zur quantitativen Forschung bei, doch in vielen Lehrbüchern wird seine bekannteste Leistung noch immer Student’s t-test genannt
- Sein Name ist in der Geschichte weniger hervorgehoben worden, doch der t-Test gehört bis heute zu den am weitesten verbreiteten statistischen Werkzeugen der Wissenschaft
1 Kommentare
Hacker-News-Kommentare
Auch in der Geschichte der Biochemie gibt es eine interessante Episode: Chaim Weizmann war Biochemiker und überzeugter Zionist und zog während des Ersten Weltkriegs die Aufmerksamkeit von Winston Churchill auf sich, indem er Clostridium acetobutylicum kultivierte, mit dem sich Aceton für die Herstellung des Marine-Treibmittels Cordit gewinnen ließ
Als George Lloyd ihn als Gegenleistung für seinen Kriegsbeitrag fragte, was Großbritannien für ihn tun könne, antwortete Weizmann: „Nicht für mich, sondern für mein Volk“, und daraus entwickelte sich die Balfour Declaration, die eine Heimstätte für das jüdische Volk versprach
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
In der Balfour Declaration gab es auch eine Klausel, dass die Menschen in Palästina nicht vertrieben werden dürften, doch diese wurde fast vergessen; außerdem gab es nach Weizmanns Ankunft in Großbritannien erhebliche politische Manöver, darunter eine Welttournee zur Bewerbung Albert Einsteins, bevor er George Lloyd traf
A Peace to End All Peace von David Fromkin, das ich kürzlich gelesen habe, behandelt Weizmanns Rolle und den Hintergrund der Balfour Declaration ausführlich; besonders im Gedächtnis geblieben ist mir die Schlussfolgerung des Buches, dass Europa nach dem Zusammenbruch der imperialen Ordnung seit Rom fast 1.500 Jahre brauchte, um Nationalstaaten und politische Identitäten zu ordnen
Eindrucksvoll fand ich die Deutung, dass sich die heutige Krise im Nahen Osten, auch wenn Tiefe und Dauer unterschiedlich sein mögen, mit demselben Problem befasst: Welche neuen politischen Identitäten werden verschiedene Völker nach dem Zusammenbruch einer alten imperialen Ordnung ausbilden?
Die Alliierten entwarfen auch keinen Plan zur Umsiedlung jüdischer Flüchtlinge nach dem Krieg; vielmehr war Juden damals sogar der Zugang zum britischen Mandatsgebiet Palästina verboten
Die Israelis riefen ihren Staat selbst gegen den Willen Großbritanniens aus, so wie die USA einst ihre Unabhängigkeit von Großbritannien erklärten
Außerdem sah kein „Plan“ für die Region einen Bürgerkrieg vor, doch genau der brach aus; die späteren Ereignisse nachträglich in verschiedene nicht verwirklichte Pläne einzupassen, ist eher eine revisionistische Deutung
Es ist schwer zu behaupten, dass die Behandlung der Araber im Westjordanland durch die Israelis schlimmer gewesen sei als das, was sie den Israelis antun wollten; allerdings vertrieb die arabische Seite nach ihrer Niederlage im militärischen Konflikt auch ihre langjährigen jüdischen Gemeinschaften
Als ich letzten Sommer in Polen war, erfuhr ich, dass mehrere jüdische Führer im Polen der Zwischenkriegszeit einen jüdischen Nationalstaat unterstützten, die Regierung aber nicht dazu bewegen konnten, dies öffentlich zu erklären
Noch erstaunlicher ist das, wenn man bedenkt, dass Juden damals bis zu 25 % der Bevölkerung Polens ausmachten
Zu seinen Motiven für die Erklärung gehörte zumindest teilweise die Vorstellung, dass Großbritannien, wenn es den Juden ein eigenes Land gäbe, einen mächtigen Verbündeten innerhalb einer vermeintlichen weltweiten jüdischen Verschwörung gewinnen und zugleich dafür sorgen könne, dass Juden Großbritannien verließen und nicht länger dessen Politik, Kultur und Wirtschaft steuerten
Auch in einem bei Wikipedia zitierten Text Balfours von 1919 schrieb er, der Zionismus werde das lang anhaltende Leid der westlichen Zivilisation lindern, das daraus entstanden sei, dass sie „die Juden als Gruppe in ihrer Mitte“ als fremd und feindlich betrachte, sie aber weder vertreiben noch assimilieren könne
Er ist eines der besten Beispiele dafür, dass Unterstützung des Zionismus und Antisemitismus einander nicht widersprechen und tatsächlich zusammengehen können
Auch nach Hitlers Machtübernahme gab es unter Unterstützung der deutschen Regierung ein zionistisches Projekt, das jüdischen Deutschen die Auswanderung nach Palästina erleichterte; wie jede Migration endete auch diese mit Beginn des Zweiten Weltkriegs
Das heißt nicht, dass die Nazis dieses Projekt mochten, aber sie stellten sich ihm auch nicht aktiv entgegen; stattdessen zwangen sie auswandernde Juden zur Liquidierung ihres Vermögens und begrenzten das ins Ausland übertragbare Eigentum stark, bevor sie später im Holocaust jüdische Unternehmen enteigneten und erneut privatisierten
Ein interessanter Text. Ich glaube, im Statistikunterricht habe ich so etwas nie gehört.
Gosset löste mit einer neuen Methode verschiedene Probleme in der Brauerei, und weil Guinness nicht wollte, dass Konkurrenten von den Forschungsergebnissen erfuhren, veröffentlichte er den t-Test unter dem Pseudonym Student.
Gosset war ein Pionier der industriellen Qualitätskontrolle und leistete auch viele Beiträge zur quantitativen Forschung, aber die meisten Lehrbücher nennen seine Leistung noch immer den „t-Test von Student“.
Gosset fehlte der mathematische Hintergrund, um die richtige Verteilung theoretisch herzuleiten, daher simulierte er Tausende von Stichprobenziehungen für verschiedene Stichprobengrößen und passte Kurven an, um die Verteilung zu finden.
Damals bedeutete Simulation, Zahlen auf Tausende von Karten zu schreiben, sie zu mischen, Stichproben zu ziehen, Mittelwert und Standardabweichung zu berechnen und das Tausende Male zu wiederholen.
Er veröffentlichte die Ergebnisse in einem fast entschuldigenden Ton, weil er sie nicht sauber beweisen konnte.
Statistiklehrbücher sind so trocken, dass für solche Geschichten kaum Platz bleibt.
Es lässt einen darüber nachdenken, wie viele nützliche Entdeckungen aus der Industrie unterdrückt wurden, weil das Management fürchtete, Wettbewerbsinformationen preiszugeben.
Wenn man glaubt, dass eine Entdeckung irgendwann ohnehin von jemandem gemacht worden wäre, könnte man auch annehmen, dass solche Erkenntnisse letztlich unabhängig wiederentdeckt wurden oder noch werden.
In dem Zusammenhang frage ich mich auch, wie viel wertvolle Forschung verschwindet, wenn Unternehmen scheitern oder übernommen werden.
Wenn man zum Beispiel Arbeiten aus den 1990ern über MCC zu „Agenten“ und „Multi-Agenten-Systemen“ liest, tauchen oft Literaturangaben wie „MCC Technical Report TR86-32791“ auf, aber auch wenn sich einige online finden lassen, scheinen viele Berichte schwer oder gar nicht auffindbar zu sein.
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
Ähnlich war es auch bei HN, als über den Ursprung des Begriffs „Sharding“ diskutiert wurde. Viele Hinweise deuteten auf interne Arbeiten von CCA, und CCA wurde von Xerox übernommen, aber die Originalarbeiten sind heute praktisch nicht mehr zu bekommen.
Irgendwo bei Xerox mögen sie noch existieren, aber heranzukommen dürfte sehr schwierig sein.
https://news.ycombinator.com/item?id=36848605
Die dortige Gedenktafel erinnert an Gosset und seine Beiträge zur Statistik.
Diese kleine Hintergrundgeschichte zu kennen, hat sich für mich persönlich überraschend befreiend angefühlt.
In meinem ersten Jahr bei AWS arbeitete ich am Standort DUB1, der Teil des Technologie- und Inkubatorgeländes Digital Hub war.
Zufällig befand sich das kleine Amazon-Büro im ehemaligen Labor von William Sealy Gosset, direkt neben dem St. Patrick's Tower, wo sich die Kontrollwerkstatt von Guinness befand.
Als ehemaliger Statistikdozent erzählte ich den Kolleginnen und Kollegen begeistert, an was für einem glücklichen Ort wir arbeiteten, aber es gab fast gar keine Reaktion.
Vor langer Zeit habe ich William Sealy Gosset einmal als Motiv für eine irische Briefmarke vorgeschlagen, aber daraus wurde nichts; hoffentlich bekommt er irgendwann mehr Anerkennung.
Guinness war seiner Zeit weit voraus und in vieler Hinsicht das Google seiner Zeit. Es bot Wohnraum, hohe Löhne und hervorragende Sozialleistungen.
Mein Großvater arbeitete dort, und die Geschwister meines Vaters lernten alle im Guinness-Schwimmbad schwimmen.
Eine weitere interessante Tatsache ist, dass das Widget für guten Schaum in Dosen zur Erfindung des Jahres gewählt wurde, und zwar in demselben Jahr, in dem das Internet erfunden wurde.
Für weitere interessante Geschichten über Guinness ist dieser Artikel gut: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
So wie wir heute Kneipendebatten mit Google entscheiden, wurde das Buch damals genau zu diesem Zweck veröffentlicht.
Ich ging auf eine Schule neben der Guinness-Brauerei, und ich werde den Geruch kochenden Hopfens wohl nie vergessen.
Die Schule war allerdings in vieler Hinsicht sehr arm, und selbst in den 1980er Jahren, als Irland unter Massenarbeitslosigkeit und starker Auswanderung litt, finanzierte Guinness nicht einmal die Ausrüstung der Schulfußballmannschaft.
Ironischerweise spendete ein ehemaliger Schüler ein paar Apple Macs und ein Dutzend Apple IIe, sodass die Schule einen Computerraum hatte, der seiner Zeit voraus war.
Dort habe ich mir vermutlich zum ersten Mal mit BASIC-Programmierung selbst Fähigkeiten angeeignet.
Um zum Thema zurückzukehren: Guinness war immer klug und seiner Zeit voraus, und dort einen Job zu bekommen, war wie ein Lottogewinn — faktisch eine Garantie auf eine lebenslange Anstellung.
Ich liebe solche Geschichten.
Ich bin in einem Statistik-Lehrbuch für Studierende eher zufällig darüber gestolpert, und später gab es bei einer Führung durch die Guinness-Brauerei in Dublin auch eine kleine Ausstellung über Gosset. Allerdings war Gosset tatsächlich in einer Brauerei auf der britischen Seite tätig.
Eine andere interessante Sache, die ich in der organischen Chemie gelernt habe: Der russische Komponist Alexander Borodin schrieb „In the Steppes of Central Asia“ und „Prince Igor“, aber das Komponieren war nur seine Freizeitbeschäftigung; hauptberuflich war er organischer Chemiker und Mitentdecker der Aldolreaktion.
https://en.wikipedia.org/wiki/Alexander_Borodin
Das wurde bereits 2019 bei der Vorstellung erzählt.
Um die Geschichte richtig zur Geltung zu bringen, hätte man auf der Bühne Guinness holen und selbst öffnen müssen.
Das ist ein EuRuKo-Video, aufgenommen an einem Ort, der einen ausgemusterten Ozeandampfer in ein Hotel mit Konferenzräumen umgebaut hat: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
Das ist nicht überraschend. Fast jede Form von Fertigung wirkt wie ein perfektes Umfeld, um statistische Methoden zu erproben.
Es gibt genug Größenordnung, dass schon feine Unterschiede viel Geld sparen können, und dadurch entsteht recht schnell ein Nutzen.
Der t-Test ist im Vergleich zu fortgeschritteneren Verfahren einfach, aber zugleich clever, und das fand ich immer beeindruckend.
Anfang des 20. Jahrhunderts profitierten Anbau und Landwirtschaft stark von Varianzanalyse, Blocking-Faktoren, Störfaktoren, Faktoren·Stufen·Bereichen und vollständigen faktoriellen Versuchsplänen.
Heute gelten Dinge wie die F-Statistik oder kritische F-Werte als selbstverständlich.
Leider scheint der Originaltext Gossets Arbeit und den Kern des t-Tests weitgehend zu verfehlen.
Das ist eine typische Folge der Ausbildung in Nullhypothesen-Signifikanztests, die Gosset/Fisher/Pearson/Neyman auf moderne Weise miteinander vermischt.
Entscheidend ist nicht, dass man einen p-Wert berechnen kann, sondern dass es sich um ein Entscheidungs-Framework handelt, mit dem man unter Abwägung von Falsch-Positiv- und Falsch-Negativ-Raten ökonomisch vernünftige Entscheidungen trifft: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
In diesem Fall waren in den Brauereiaufzeichnungen die Anteile fehlerhafter Chargen durch Tests und Verkostungen gut dokumentiert, sodass man festlegen konnte, wie viele „schlechte“ Chargen man akzeptieren würde, um die Kosten einer bestimmten Zahl von Teststichproben zu sparen.
Wenn man zum Beispiel festlegt, dass man wegen eines falsch negativen Ergebnisses 1 von 100 schlechten Chargen akzeptiert und 1 von 20 guten Chargen zurückweist, ergibt sich daraus die erforderliche Stichprobengröße n.
Wenn man die Varianz der Messwerte senkt, sinkt die nötige Stichprobengröße, um denselben Trade-off zu erreichen, und das spart direkt Geld durch weniger Ausschuss oder geringere Testkosten.
Weil eine kleine Stichprobengröße besser war, konnte Student keine asymptotischen Verfahren oder Näherungen verwenden; die Näherung hätte um mehrere Stellen falsch liegen können. Es wurden sogar Tests mit n = 2 versucht.
Oder man wollte den Alkoholgehalt vielleicht so eng optimieren, dass er die steuerliche Schwelle nicht überschreitet, aber auch nicht so niedrig wird, dass Kunden enttäuscht sind.
Gosset berechnete: „Um die erforderliche Genauigkeit zu erreichen, nämlich bei einer Genauigkeit von 0,5 Odds von 10 zu 1 zu erhalten, muss man mindestens den Mittelwert aus vier Messungen verwenden“, und der Guinness-Vorstand war darüber erfreut.
Wenn das nach subjektiver Bayes’scher Entscheidungstheorie klingt, dann stimmt das zwar, aber Student hätte das wie die meisten Statistiker wohl zurückgewiesen und betont, dass Bayes hier nicht nötig sei, weil man es mit einer Population mit bekannten Basisraten zu tun habe und es sich lediglich um frequentistische Entscheidungstheorie handle.
Manchmal frage ich mich, wie nützlich der t-Test tatsächlich ist im Vergleich zu zwei Boxplots mit leicht verschobenen Punkten oder einer anderen Darstellung der Anzahl der Datenpunkte.
Wenn es im Boxplot nicht klar sichtbar ist, kann man dann, vorausgesetzt es gibt genügend Punkte, allein mit einem t-Test wirklich eine überzeugende Behauptung aufstellen?
Der t-Test lässt sich unabhängig berechnen und verifizieren.