- Das bekannte Ergebnis, dass der Anteil günstiger Entscheidungen in israelischen Bewährungsausschüssen vor und nach Pausen stark abfällt bzw. sich erholt, könnte nicht nur durch tatsächliche Verzerrungen im Urteil, sondern auch erheblich durch ein statistisches Artefakt aufgebläht sein.
- Die ursprüngliche Studie interpretierte dies so, dass die Wahrscheinlichkeit einer günstigen Entscheidung von etwa 65 % bei der ersten Entscheidung einer Sitzung auf nahezu 0 % bei der letzten fällt und nach einer Essenspause wieder auf 65 % zurückkehrt; dies wurde mit möglicher mentaler Erschöpfung verknüpft.
- Der Kern der Reanalyse ist, dass günstige Entscheidungen länger dauern als ungünstige; in den DLA-Daten dauerten günstige Entscheidungen im Mittel 7,37 Minuten, ungünstige im Mittel 5,21 Minuten, sodass in späteren Sitzungsphasen weniger günstige Fälle in der Stichprobe verbleiben könnten.
- Nimmt man an, dass ein hypothetisch rationaler Richter Fälle, die in der verbleibenden Zeit schwer abzuschließen sind, in die nächste Sitzung verschiebt, dann zeigt sich selbst bei zufälliger Fallreihenfolge eine DLA-ähnliche Abwärtskurve; das Entfernen der letzten 5 % einer Sitzung verstärkt diesen Effekt zusätzlich.
- Aus den Originaldaten allein lässt sich nicht hinreichend schließen, dass exogene Faktoren juristische Urteile stark verzerrt haben; Faktoren wie rationales Zeitmanagement und nicht-zufällige Fallanordnung müssen von Reihenfolge- und Hunger-Effekten getrennt werden.
Das ursprüngliche Ergebnis zum „hungrigen Richter“
- Danziger, Levav und Avnaim-Pesso (DLA) analysierten 1.112 Entscheidungen israelischer Bewährungsausschüsse und kamen zu dem Schluss, dass die Reihenfolge der Fälle innerhalb einer Sitzung mit der Wahrscheinlichkeit einer günstigen Entscheidung zusammenhängt.
- Der Ausschuss führte pro Tag drei Sitzungen durch, getrennt durch einen späten Vormittagssnack und eine Mittagspause.
- Die Analyse umfasste etwa 40 % aller israelischen Bewährungsanträge.
- Das zentrale Ergebnis von DLA war, dass der Anteil günstiger Entscheidungen bei der ersten Entscheidung einer Sitzung bei etwa 65 % lag, bei der letzten Entscheidung jedoch auf nahezu 0 % fiel.
- Nach einer Essenspause stieg der Anteil günstiger Entscheidungen in der nächsten Sitzung wieder auf etwa 65 %.
- DLA deutete dies vorsichtig so, dass Richter nach wiederholten Entscheidungen in einen Zustand von Müdigkeit, Hunger oder mentaler Erschöpfung geraten könnten und dann eher eine Status-quo-Strategie des Ablehnens wählen.
- Der Effekt wurde in Psychologie, Rechtswissenschaft und Ökonomie vielfach zitiert, weil er nahelegt, dass juristische Entscheidungen durch rechtlich irrelevante Faktoren wie Fallreihenfolge oder Mahlzeiten beeinflusst werden könnten.
- Laut Google Scholar wurde die Arbeit bis zum 27. Februar 2015 222-mal zitiert.
Zweifel an der Effektgröße
- Der von DLA beobachtete Rückgang ist sehr groß.
- Dass günstige Entscheidungen von 65 % auf 5 % fallen, entspricht einem Odds Ratio von 35 oder einer standardisierten Mittelwertsdifferenz von d = 1,96.
- Das liegt mehr als doppelt so hoch wie das übliche Kriterium für einen „großen Effekt“.
- Im Vergleich zur Annahme, dass mentale Erschöpfung die Ursache sei, ist die Größe besonders auffällig.
- Die um Publikationsbias bereinigte Schätzung von Carter und McCullough liegt bei d = –0,10 bis 0,25, also im Durchschnitt nur bei kleinen Effekten.
- Eine präregistrierte Multi-Lab-Replikation mit 23 Laboren und N = 2.142 fand d = 0,04, nicht signifikant verschieden von 0.
- Wenn der DLA-Effekt also tatsächlich auf mentale Erschöpfung zurückginge, würde sich im Gerichtsalltag ein viel stärkeres Phänomen zeigen als in Laborstudien zu erwarten wäre.
Störfaktoren bei Fallreihenfolge und Pausenzeitpunkten
- Um einen Reihenfolgeeffekt zu behaupten, müsste die Fallanordnung zufällig sein oder es dürften keine in der Analyse fehlenden verborgenen Faktoren gleichzeitig Reihenfolge und Entscheidung beeinflussen.
- DLA kontrollierten Variablen wie Schwere der Straftat, frühere Inhaftierung, Anzahl der verbüßten Monate, Teilnahme an Rehabilitationsprogrammen und frühere Rate günstiger Entscheidungen und hielten ihre Ergebnisse für robust.
- Weinshall-Margel und Shapard widersprachen auf Basis informeller Interviews mit Beteiligten des Bewährungsverfahrens und argumentierten, dass die Reihenfolge der Fälle nicht zufällig sei.
- Demnach würden Gefangene ohne Anwalt innerhalb einer Sitzung meist später drankommen und hätten geringere Chancen auf Bewährung als Gefangene mit Anwalt.
- DLA antworteten, dass der Abwärtstrend auch bei Kontrolle für anwaltliche Vertretung bestehen bleibe, berichteten aber nicht, ob die Effektgröße unverändert blieb.
- Auch der Zeitpunkt von Pausen ist eine wichtige Variable.
- DLA gingen davon aus, dass Fallmerkmale den Pausenzeitpunkt nicht vorhersagen.
- In den Interviews von Weinshall-Margel und Shapard fanden sich jedoch Aussagen, dass Richter möglicherweise systematisch planen, einen Fallsatz – etwa alle Fälle aus einem bestimmten Gefängnis – innerhalb einer Sitzung abzuschließen.
Selektiver Ausfall und rationales Zeitmanagement
- Der Ausgangspunkt der Reanalyse ist die Tatsache, dass günstige Entscheidungen mehr Zeit benötigen als ungünstige.
- In den DLA-Daten dauerten günstige Entscheidungen im Mittel 7,37 Minuten bei einer Standardabweichung von 5,11 Minuten.
- Ungünstige Entscheidungen dauerten im Mittel 5,21 Minuten bei einer Standardabweichung von 4,97 Minuten.
- Die Zahl der pro Sitzung bearbeiteten Fälle war nicht konstant.
- Vormittagssitzungen hatten im Mittel 7,8 Fälle, Standardabweichung 4,51, Minimum 2, Maximum 28.
- Sitzungen nach dem Snack und vor dem Mittagessen hatten im Mittel 11,4 Fälle, Standardabweichung 5,14, Minimum 2, Maximum 25.
- Wenn günstige Entscheidungen länger dauern, können Fälle mit günstiger Entscheidung im späteren Sitzungsverlauf selektiv aus der Stichprobe herausfallen.
- Sitzungen mit überwiegend ungünstigen Entscheidungen können mehr Fälle bearbeiten.
- Unter Beobachtungen mit hoher Ordnungszahl bleiben daher relativ häufiger Fälle aus Sitzungen mit vielen ungünstigen Entscheidungen übrig.
- Dass Richter kurz vor einer Pause keine zeitaufwendigen Fälle mehr beginnen wollen, kann rationales Zeitmanagement sein.
- Schon anhand von Aktenumfang, Art des Antrags, Vorhandensein eines Anwalts sowie oberflächlichen Hinweisen zu Anwalt, Gefängnis oder Gefangenem lässt sich teilweise abschätzen, ob ein Fall eher kurz oder lang dauern wird.
- Diese Planung setzt nicht zwingend voraus, dass die juristische Substanz oder das spätere Ergebnis des Falls im Voraus bekannt ist.
Simulation eines rationalen Richters
- Die Simulation nimmt einen hypothetischen idealen Richter an, der ohne Fehler und Verzerrung entscheidet.
- Der Richter legt für jede Sitzung eine ungefähre Zeitgrenze fest und verschiebt den nächsten Fall auf den Beginn der nächsten Sitzung, wenn zu erwarten ist, dass er diese Grenze überschreitet.
- In der Simulation werden 10.000 Fälle in zufälliger Reihenfolge erzeugt.
- Der Basisanteil günstig entschiedener Fälle wird auf 36 % gesetzt, der ungünstiger Fälle auf 64 %.
- Die Entscheidungsdauer spiegelt den mittleren Zeitunterschied zwischen günstigen und ungünstigen Fällen wider; als Rauschen werden entweder Normalverteilung oder rechtsschiefe Weibull-Verteilung verwendet.
- Die Sitzungszeitgrenze wird auf 60 Minuten gesetzt.
- Selbst bei zufälliger Fallreihenfolge und rationalem Richter zeigt sich ein Muster, bei dem die Wahrscheinlichkeit günstiger Entscheidungen gegen Ende einer Sitzung deutlich sinkt.
- Sowohl unter Normalverteilung als auch unter Weibull-Verteilung ergeben sich qualitativ ähnliche Resultate.
- Bei hohen Ordnungszahlen gibt es nur noch wenige verbleibende Beobachtungen, wodurch die Schätzungen instabil werden und Spitzen bei 0 % oder hohen Anteilen auftreten können.
- Dieser Mechanismus entsteht dadurch, dass günstige Fälle bei wenig verbleibender Zeit schwerer noch in eine Sitzung hineinpassen.
- Im Beispiel können bei 15 Minuten Restzeit die meisten günstigen und ungünstigen Fälle noch begonnen werden.
- Bei 5 Minuten Restzeit passen nur 12 % der günstigen Fälle hinein, aber 46 % der ungünstigen.
- In der Stichprobe später Sitzungsphasen sinkt dadurch der relative Anteil günstiger Fälle.
Anstieg zu Sitzungsbeginn und Datenzensierung
- Sowohl in der Simulation als auch in den DLA-Daten zeigt sich, dass der Anteil günstiger Entscheidungen bei der ersten Entscheidung einer Sitzung über dem Basisanteil liegt.
- Da eine Sitzung eher unmittelbar vor einer günstigen Entscheidung endet, verlagert sich Wahrscheinlichkeitsmasse günstiger Fälle, die am Ende der vorherigen Sitzung herausfallen, auf die erste Entscheidung der nächsten Sitzung.
- Wenn gelegentlich nach Fallsätzen geplant wird, könnte das auch erklären, warum die zweite und dritte Entscheidung ebenfalls über dem Basisanteil liegen.
- DLA entfernten die letzten 5 % der Fälle jeder Sitzung, um das Problem kleiner Stichproben bei hohen Ordnungszahlen zu verringern.
- In der Reanalyse-Simulation verringert diese Zensierung (censoring) den Rückgang nicht, sondern verstärkt ihn sogar.
- Die Zensierung erhöht den selektiven Ausfall künstlich.
- Bei Analysen des Einflusses der Reihenfolge auf den Anteil günstiger Entscheidungen sollte eine solche Zensierung vermieden werden.
- In den DLA-Daten gibt es außerdem eine Autokorrelation, bei der frühere Entscheidungen positiv mit späteren korrelieren.
- Wird in der Simulation eine Autokorrelation erster Ordnung von r = .10 hinzugefügt, ändert sich die Größe des Artefakts nicht merklich.
Wenn es keine Vorhersage im Voraus gibt
- Die vorangehende Simulation nimmt an, dass der Richter die erwartete Dauer des nächsten Falls teilweise vorhersagen kann und Fälle, die die Sitzungsgrenze überschreiten würden, gar nicht erst beginnt.
- DLA erklärten jedoch, dass Mitglieder des Ausschusses die Details des nächsten Falls nicht im Voraus kannten; die Annahme vollständiger Vorhersagbarkeit könnte daher stark sein.
- Die Reanalyse testet auch den Fall, dass der Richter ohne Vorhersage erst dann stoppt, wenn die Zeitgrenze bereits überschritten ist.
- Ohne Zensierung und Autokorrelation verschwindet das Artefakt.
- Mit Zensierung und Autokorrelation tritt der Abwärtseffekt wieder auf.
- Der Grund ist, dass günstige Entscheidungen länger dauern und daher eher an die Zeitgrenze stoßen.
- Wenn die letzten 5 % entfernt werden, fällt häufig der letzte Fall weg, und dieser ist eher ein günstiger als ein ungünstiger Fall.
- Unter Bedingungen ohne Vorhersage erzeugt die Zensierung einen Rückgang von etwa 15 %, also weniger als in der Simulation mit Vorhersage.
Verbleibende Grenzen und Fazit
- Die Reanalyse schließt nicht aus, dass Reihenfolge oder mentale Erschöpfung die juristischen Entscheidungen in den DLA-Daten beeinflusst haben.
- Sie zeigt jedoch, dass ein erheblicher Teil des beobachteten starken Rückgangs auch ohne exogene Faktoren durch rationales Zeitmanagement und selektiven Ausfall entstehen kann.
- Rationales Zeitmanagement und selektiver Ausfall erklären nicht alle Merkmale der DLA-Daten.
- Die Effektgröße der Simulation ist etwas kleiner als die des ursprünglichen Effekts.
- In den Originaldaten lag der Anfangsanteil einer Sitzung mit 65 % deutlich höher als die hier erwartbaren 45 %, insbesondere der hohe Startwert der ersten Sitzung des Tages lässt sich so schwer erklären.
- Der von DLA berichtete Effekt der Uhrzeit selbst lässt sich nicht leicht als reines Reihenfolgeartefakt erklären.
- Die empirische Kurve ist glatter; die Simulationskurve fällt zu Beginn und Ende stärker und ist in der Mitte flacher.
- Falls im DLA-Setting die direkte Vorhersage des nächsten Falls teilweise eingeschränkt war, kann rationales Zeitmanagement einen Rückgang von etwa 15 % bis 45 % erklären.
- Die Originaldaten standen für zusätzliche Detailanalysen nicht zur Verfügung.
- Die DLA-Forscher waren laut Bericht grundsätzlich zur Datenfreigabe bereit, doch die Stelle, die ursprünglich Zugriff gewährt hatte, verhinderte dies.
- Auch die genaue Entscheidungssituation ließ sich nicht vollständig rekonstruieren, sodass offene Fragen weitere Forschung erfordern.
- Der ursprünglich berichtete Reihenfolgeeffekt und der Effekt mentaler Erschöpfung könnten überschätzt worden sein.
- Rationales Zeitmanagement rund um Pausenzeitpunkte, nicht-zufällige Reihenfolge mit vorrangig früher platzierten Fällen mit Anwalt sowie potenzielle Reihenfolge- und Erschöpfungseffekte sind miteinander vermischt.
- Trennt man diese Effekte, dürften die Schätzungen für Reihenfolge oder mentale Erschöpfung kleiner ausfallen.
- Allgemeiner gilt: Auch scheinbar irrationales Verhalten kann eine nicht-intuitive rationale Grundlage haben.
- Computersimulationen und formale mathematische Analysen sind Werkzeuge, um solche Möglichkeiten sichtbar zu machen.
- Bevor man juristischen Akteuren oder einzelnen Personen weitreichende Irrationalität zuschreibt, sollte man Simulationen rationaler Akteure und formale Analysen früher und offensiver einsetzen.
1 Kommentare
Hacker-News-Kommentare
Die ursprüngliche Studie scheint fehlerhaft gewesen zu sein, weil sie die Reihenfolge der Bearbeitung der Fälle nicht berücksichtigt hat
Es wurde übersehen, dass weniger schwere Fälle zuerst behandelt wurden und schwerere Fälle, also solche mit härterer Bestrafung, nach hinten geschoben wurden
„Danziger et al. stützen sich stark auf die Annahme, dass die Reihenfolge der Fälle zufällig ist und daher unabhängig vom Entscheidungsprozess. Diese Annahme wurde deutlich widerlegt. Keren Weinshall-Margel und John Shapard analysierten in einer kurzen und sehr kritischen Erwiderung in PNAS die Daten der Originalstudie sowie weitere, von ihnen selbst erhobene Daten, und führten zusätzliche Interviews mit zuständigen Gerichtsmitarbeitern. Sie weisen darauf hin, dass die Reihenfolge der Fälle nicht zufällig ist. Das Gremium versucht vor einer Pause, alle Fälle eines Gefängnisses zu bearbeiten, und geht nach der Pause zu Fällen aus dem nächsten Gefängnis über. Insbesondere Anträge von Inhaftierten ohne Anwalt werden üblicherweise am Ende jeder Sitzung behandelt. Daher erhalten Inhaftierte ohne rechtliche Vertretung mit geringerer Wahrscheinlichkeit eine günstige Entscheidung als Inhaftierte mit Vertretung. Außerdem vertreten Anwälte oft mehrere Inhaftierte und legen die Reihenfolge der Fallpräsentation fest; es ist gut möglich, dass sie mit den stärksten Fällen beginnen.“
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
Sollte man Fälle nicht vielmehr zufällig zuweisen?
Interessant. Die ursprüngliche Studie war dafür bekannt, zu zeigen, dass Richter direkt nach dem Mittagessen großzügiger sind und direkt davor am strengsten
Diese neue Studie bestreitet die Stärke dieser Schlussfolgerung, indem sie zeigt, dass positive Entscheidungen länger dauern und sich kurz vor einer Pause mehr einfache negative Entscheidungen einschieben lassen. Hier bedeutet eine negative Entscheidung die Ablehnung von Bewährung und ist deshalb schneller abgeschlossen
Das heißt, Richter wollen kurz vor einer Pause keine komplexen Fälle beginnen, die wahrscheinlich zu einem günstigen Ergebnis führen. Ich habe die ursprüngliche Studie unzählige Male zitiert, aber dank dieser Neubetrachtung gibt es jetzt viel mehr Kontext
Wenn das stimmen würde, müssten Verkehrsunfälle rund um die Mittagszeit massiv ansteigen, und der Effekt wäre nach gesundem Menschenverstand so groß, dass man das Autofahren kurz vor Mittag verbieten müsste
„Wenn Hunger unsere mentalen Ressourcen in dieser Größenordnung beeinflusst, würde die Gesellschaft jeden Tag um 11:45 Uhr in leichtes Chaos verfallen. Zumindest wäre die Gesellschaft um diesen schwer glaubwürdigen, extrem starken Effekt mentaler Erschöpfung herum organisiert.“
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
In einem ähnlichen Zusammenhang gibt es auch eine bekannte Studie über die Korrelation zwischen dem Beginn der Sommerzeit und einem Anstieg von Herzinfarkten [0]
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
Verwandte Beiträge:
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - April 2023, 202 Kommentare
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - Januar 2020, 1 Kommentar
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - Mai 2019, 1 Kommentar
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - Oktober 2018, 58 Kommentare
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - Juli 2017, 70 Kommentare
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - April 2011, 1 Kommentar
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
Statistik für Objekte unterschiedlicher Länge ist knifflig. Das erinnert mich an die Zeit, als ich Packet-Sampling in einem LAN gemacht habe
Die Längenverteilung war bimodal, und statistische Berechnungen unter Annahme eines Mittelwerts führten zu Missverständnissen
Es gibt dafür ein paar praktische Lösungsansätze, und der allgemeine Begriff dafür ist „periodogram“
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
Es ist seltsam, dass niemand Alexander Popes The Rape of the Lock zitiert
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
Das sehe ich zum ersten Mal, und ich finde es interessant. Ich habe im Zusammenhang mit Rauchen schon Ähnliches gesehen, daher frage ich mich jetzt auch nach einem Effekt süchtiger Richter, etwa beim Rauchen
Wie groß könnte der Anteil heutiger fehlgeschlagener Replikationen sein, der darauf zurückgeht, dass die beobachteten Personen das Phänomen kennen und bewusst gegensteuern?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Der ursprüngliche Effekt war schon zum Zeitpunkt der Veröffentlichung als Scheinkorrelation bekannt
Die Studie scheint zu zeigen, dass selbst rationale Richter unter Zeitdruck Fälle schneller erledigen wollen und sich dabei eher zu ungünstigen Urteilen neigen könnten
Die Mittagspause und vermutlich auch der Feierabend sind solche Zeitgrenzen, daher nimmt die Zahl günstiger Urteile ab, je näher die Mittagspause rückt, und erholt sich direkt danach wieder
Trotzdem wirkt es seltsam, dass die Studie sagt: „DLAs Analyse liefert keinen schlüssigen Beleg für die Hypothese, dass externe Faktoren gerichtliche Entscheidungen beeinflussen.“ Wenn Mittagspause und Feierabend keine externen Faktoren sind, was dann?
Allerdings erklärt die obige Beschreibung nur einen Teil des ursprünglichen Befunds, und die Studie räumt auch ein, dass weitere Faktoren eine Rolle spielen
Die simulierten rationalen Richter sind „ideal“ und ihre Entscheidungen werden weder von der Reihenfolge der Fälle noch von der seit der Pause vergangenen Zeit beeinflusst
Die Studie sagt, dass trotz dieses perfekten Verhaltens bei einigen Simulationsarten zur Festlegung des Pausenzeitpunkts günstige Fälle eher am Anfang einer Sitzung zugewiesen werden könnten. Erst in der letzten Simulation tritt dieser Effekt auf, nachdem dieselbe statistische Verarbeitung wie in der ursprünglichen Studie angewandt wurde
Nachdem ich die ursprüngliche Studie gelesen hatte, habe ich jahrelang keine Meetings vor dem Mittagessen angesetzt, und das hier
Etwas ernster gemeint: Ich mache es eher andersherum. Damit Menschen wegen Hunger nicht aus der Spur geraten und damit der Vormittag nicht in zwei unterbrochene Blöcke zerfällt
Es wäre interessant, das mit Fällen zu vergleichen, in denen das Standardergebnis das Gegenteil ist
Der Insasse sitzt im Gefängnis und bleibt weiter im Gefängnis
Würde das Ergebnis anders ausfallen, wenn die Struktur so wäre, dass der Insasse freikommt, sofern die Richter nicht begründen, warum er weiter inhaftiert bleiben sollte? Natürlich wäre das wohl ziemlich komplex