Die Annahme, dass Computer korrekt funktionieren
(emptycity.substack.com)- Der britische Post Office Horizon-Prozessskandal gilt als ein Fall massiver Fehlurteile im modernen Großbritannien und zeigt nicht nur persönliches und organisatorisches Versagen, sondern auch, welche Rolle Recht und Gerichtsverfahren spielten
- Gerichte gehen mangels gegenteiliger Beweise davon aus, dass technische Geräte ordnungsgemäß funktionieren, und dieser Ausgangspunkt gilt auch für Computeraufzeichnungen
- Unter einer solchen Beweisvermutung können allein Computeraufzeichnungen Tatsachen wie Buchungsfehlbeträge belegen, wodurch eine Struktur entsteht, in der die Angeklagten den Fehler nachweisen müssen
- Section 69 des Police and Criminal Evidence Act von 1984 enthielt die gegenteilige Regel, dass die Staatsanwaltschaft die ordnungsgemäße Funktion des Computers nachweisen musste, wurde jedoch 1999 aufgehoben
- Wäre Section 69 bestehen geblieben, hätte sich der Verlauf der Post-Office-Strafverfolgungen möglicherweise anders entwickelt; nach der Aufhebung verlagerte sich die Beweislast wieder auf die Angeklagten
Der Post Office Horizon-Skandal und die Verantwortung des Verfahrensrechts
- Der Post Office prosecutions scandal gilt als einer der größten Fälle massiver Fehlurteile im modernen Großbritannien
- In dem Fall überlagern sich persönliches und institutionelles Versagen, und die juristischen Dokumente und Beweise sind so umfangreich, dass der Gesamtzusammenhang schwer zu erfassen ist
- Das zentrale Urteil von Mr Justice Fraser aus dem Jahr 2019 besteht selbst ohne Anhänge aus mehr als 1.000 Absätzen
- Nick Wallis’ einschlägiges Buch und die gerichtliche Untersuchung zeichnen den Verlauf des Falls und Wege zur Verhinderung einer Wiederholung nach
- Viele Analysen konzentrieren sich auf das Versagen des Post-Office-Managements, der Anwälte und des Softwareanbieters Fujitsu
- Doch auch das angewandte Recht und die Verfahren waren Teil des Problems; das mindert die Verantwortung der Entscheidungsträger nicht, denn sie wussten oder hätten wissen müssen, dass dies für die Angeklagten besonders hart wirken konnte
Die Beweisvermutung „Computer funktionieren ordnungsgemäß“
- Was Juristen eine Vermutung (presumption) nennen, ist ein Mechanismus, bei dem ein Gericht mangels gegenteiliger Beweise einen bestimmten Zustand als Standard annimmt
- Die klassische Formulierung lautet, dass „das Gericht mangels gegenteiliger Beweise vermutet, dass ein technisches Gerät zum maßgeblichen Zeitpunkt in ordnungsgemäßem Zustand war“
- Zu diesen technischen Geräten gehören auch Computer
- Diese Vermutung bedeutet nicht, dass Gerichte Computern unter allen Umständen blind vertrauen, sondern dass dies ein Ausgangspunkt ist, der durch Beweise widerlegt werden kann
- Solange der gegenteilige Zustand nicht nachgewiesen ist, kann das Gericht diesen Zustand als Tatsache akzeptieren
Warum Vermutungen nötig sind – und wo die Gefahr liegt
- Dass Gerichte mit Vermutungen arbeiten, ist an sich kein Problem; ohne sie wären viele Fälle in der Praxis kaum handhabbar
- Vermutungen engen die Streitfragen auf ein beherrschbares Maß ein
- Ein Vertrag kann als nicht betrügerisch behandelt werden, solange nicht nachgewiesen ist, dass er gefälscht ist
- Ein Angeklagter kann als nicht geisteskrank behandelt werden, solange nicht Geisteskrankheit nachgewiesen ist
- Entscheidend ist, welcher Zustand zum Standard wird und welche Seite diesen Standard durchbrechen muss
- Wenn der Inhalt der Vermutung unrealistisch ist oder die Anforderungen an ihre Widerlegung übermäßig hoch sind, wird sie nicht zu einem Hilfsmittel der Justiz, sondern zu einem Mechanismus für Fehlurteile
Wenn Computeraufzeichnungen zur Grundlage eines Schuldspruchs werden
- Die Regel, wonach Computer als ordnungsgemäß funktionierend gelten, ist eine Beweisvermutung
- Ein Gericht kann mangels Beweisen für eine Fehlfunktion annehmen, dass allein Computeraufzeichnungen die betreffende Tatsache belegen
- Wenn etwa Computeraufzeichnungen einen Kassenfehlbetrag eines Postmeisters oder einer Postmeisterin ausweisen, kann das Gericht dies als Beleg für einen tatsächlichen Fehlbetrag akzeptieren
- Um diese Prämisse zu erschüttern, müssen die Angeklagten zeigen, dass der Computer nicht ordnungsgemäß funktionierte
- Wenn der zentrale Beweis der Anklage aus Computeraufzeichnungen besteht, läuft die Struktur letztlich auf „computer says guilty“ hinaus
Einführung und Aufhebung von Section 69
- Diese Beweisvermutung wirkte nicht immer in dieselbe Richtung
- Die 1984 eingeführte Section 69 des Police and Criminal Evidence Act 1984 kehrte die Richtung der Vermutung um
- Nach Section 69 mussten nicht die Angeklagten einen Computerfehler nachweisen, sondern die Staatsanwaltschaft die ordnungsgemäße Funktion des Computers
- Diese Vorschrift ersetzte die bisherige Common-Law-Position, wonach „mangels gegenteiliger Beweise vermutet wird, dass ein technisches Gerät ordnungsgemäß funktionierte“
- Wäre Section 69 noch in Kraft gewesen, als das Post Office Postmeister und Postmeisterinnen strafrechtlich verfolgte, hätte sich der Verlauf der Verfahren möglicherweise anders entwickelt
- Section 69 wurde 1999 aufgehoben, und die frühere Common-Law-Vermutung kehrte zurück
- Seitdem muss nicht zuerst die Staatsanwaltschaft die ordnungsgemäße Funktion des Computers nachweisen, sondern die Angeklagten müssen zeigen, dass der Computer nicht ordnungsgemäß funktionierte
- Wie es zur Aufhebung von Section 69 kam und ob die Gründe dafür stichhaltig waren, bleibt Thema des folgenden Beitrags
1 Kommentare
Hacker-News-Kommentare
Mein Eindruck, als ich mir den Post-Office-Skandal zuletzt angesehen habe, war, dass „wir haben dem IT-System zu sehr vertraut“ eher eine bequeme Ausrede war
Die Führungsetage wusste offenbar sehr wohl von den Problemen und auch, dass sie Unschuldige strafrechtlich verfolgte, drückte aber weiter darauf, um das eigene Versagen zu vertuschen. Wenn das stimmt, braucht es erhebliche Haftstrafen. Rechtsbehinderung ist kein Kavaliersdelikt, und es gibt sogar den Verdacht, dass Paula Vennells das Parlament vorsätzlich belogen hat
Deshalb gab es im Post-Office-Vorstand durch Rassismus eine psychologische Barriere, die Hinweise miteinander zu verbinden; und selbst angesichts überwältigender Belege für Hunderte falscher Verurteilungen fehlte ihnen die Moral, sodass sie sich erst recht festbissen. Es ist auch eine traurige Geschichte technischen Scheiterns, aber ebenso eine Anklage gegen die britische Board-Kultur. Das Magazin Private Eye berichtet seit über zehn Jahren über diese Katastrophe
Wäre es nicht richtiger, dafür zu argumentieren, diese Macht strukturell zu beseitigen?
Nach einem Leben damit, Bugs zu beheben, ist es für mich oft schon erstaunlich, dass Computersysteme überhaupt funktionieren
Mir ist persönlich etwas Ähnliches wie beim gescheiterten Post-Office-System passiert: Selbst wenn man Belege vorlegte, weigerten sich alle, die Möglichkeit eines Fehlers im Computersystem anzuerkennen. Weil es einfach zu mühsam war, sich hineinzuknien und es zu verstehen
Weil ich gesehen habe, wie Software entsteht, verstehe ich nicht, wie das alles überhaupt funktionieren kann. Meine Antwort auf dieses Paradox ist: Es funktioniert in Wahrheit gar nicht alles. Wir wurden darauf trainiert, Dinge, die nicht funktionieren, als etwas anderes hinzunehmen. Menschen betrachten Computersysteme entweder als allwissend und unfehlbar – oder umgekehrt als Sündenbock
Zum Beispiel hatten die Websites von Airlines wie TAP, Vueling und KLM in den letzten zwei Jahren, in denen ich sie genutzt habe, häufig Bugs, die verhinderten, Tickets zu buchen oder sich ins Konto einzuloggen; gefühlt funktionierten sie häufiger nicht als doch. Instagram und Google haben Konten ohne ersichtlichen Grund automatisch deaktiviert; bei Instagram ist mir das innerhalb von zwei Monaten dreimal passiert, danach habe ich einfach aufgegeben und es nicht mehr genutzt. Skype braucht für alle, die es nutzen, keine Erklärung, und Teams scheitert trotz endloser „Updates“ auf erstaunliche Weise: Der Stummschaltknopf schaltet tatsächlich nicht stumm, beim Tippen im Chat wird die Buchstabenreihenfolge in Sätzen vertauscht, oder Anrufe brechen plötzlich ab und die App reagiert nicht mehr. Dieser Produktivitätsverlust dürfte weltweit erheblich sein, und die von Unternehmen verschwendeten Personalkosten könnten höher sein als die Lizenzgebühren, die sie an Microsoft zahlen. Telegram kommt mit externen Monitoren nicht richtig zurecht, sodass die Skalierung kaputtgeht und ein Neustart nötig wird; iCloud braucht für die Dateisynchronisierung einige Sekunden bis etwa eine Stunde, selbst wenn alle Geräte eine gute Verbindung haben
Und das, obwohl sie ständig Gegenbelege sehen. Als Ingenieur halte ich das aber für natürlich und effizient. Man muss priorisieren, und manche Bugs sind weniger wichtig als andere. Ich denke, es wäre besser, mehr Aufwand in Bildung, Gesundheit und Grundlagenforschung zu stecken, als jeden Bug in jeder Software zu beheben
Wenn sie also in 1 % der Fälle zu versagen beginnen, ignorieren die Leute das, weil sie in den vorherigen 99 % funktioniert haben. Sie sind darauf trainiert, den Ergebnissen zu vertrauen, sodass ihnen Zweifel gar nicht in den Sinn kommen. Das erinnert an das Buch Systemantics: https://www.amazon.com/Systemantics-Systems-Work-Especially-...
Eine der zentralen Thesen des Buchs ist der operative Irrtum, dass „Systeme tatsächlich das tun, was sie zu tun behaupten“. Das vergessen nicht nur Menschen, sondern auch Ingenieure häufig. Nur weil ein System sagt, es tue X, heißt das nicht, dass es tatsächlich X tut. Gegenüber komplexen IT-Systemen sollte man eine gesunde Skepsis entwickeln. Sie mögen die meiste Zeit nicht ausfallen, aber irgendwann werden sie es
Zumindest fühlt es sich so an
Eines der großen Probleme bei diesen Anklagen war, dass der Anklageberechtigte das Post Office selbst war
Vor diesem Fall wusste ich nicht, dass das Post Office eine solche Befugnis hat. Im Grunde war das Post Office zugleich Anzeigeerstatter und Strafverfolgungsbehörde. „Die Post Office Investigation Branch (IB) ist die älteste anerkannte kriminalpolizeiliche Ermittlungsorganisation der Welt. Seit mehr als 335 Jahren deckt sie Postverbrechen auf und verfolgt die Täter strafrechtlich.“
https://www.postalmuseum.org/blog/the-post-office-investigat...
Theoretisch ist das ein Mittel, Mächtige zur Verantwortung zu ziehen, aber es ist sehr teuer; daher werden fast alle Privatanklagen in der Praxis von Unternehmen erhoben
Von diesem Skandal hatte ich zum ersten Mal gehört
Ich frage mich, was das Hauptproblem der Software war, das die Abweichungen verursacht hat. So etwas wie Verbindungsabbrüche? Auf Wikipedia stand dazu nichts Genaues. Hier habe ich etwas gefunden: https://www.benthamsgaze.org/2021/07/15/what-went-wrong-with...
Ich würde empfehlen, sich näher damit zu beschäftigen, aber man braucht ein starkes Gemüt. Viele, die sich in diesen Fall vertieft haben, mussten sich nach einem Eimer in der Nähe umsehen. Wirklich schwer zu ertragen
Große Systeme haben während der Entwicklung fast immer Bugs, aber normalerweise werden sie gefunden und behoben. Hier wurden Bugs gefunden, aber nicht behoben
Meine Grundannahme ist, dass Computer nicht richtig funktionieren
Weil ich in der Praxis viel zu oft gesehen habe, dass sie nicht richtig funktionieren. Auch beim Autofahren vertraue ich Google Maps nicht blind, sondern prüfe, ob die Route sinnvoll ist, und sehe mir noch einmal den Straßennamen und die Ausfahrtsnummer der Stelle an, an der ich abbiegen soll. Ich bin zu oft darauf hereingefallen
Nach meiner Erfahrung als Programmierer funktioniert der Computer selbst normalerweise korrekt
Hardware-Bugs sind selten. Aber Software liegt ständig falsch, und die Computer-Hardware führt nur blind aus, was ihr die Software aufträgt
„Das kann man in Software beheben“ könnte gut das offizielle Motto der Hardware-Branche sein
Mit „Computer“ ist hier ein System aus Hardware und Software gemeint, und genau so wird das Wort „Computer“ fast immer verwendet. Das Problem ist, dass Gerichte ohne Gegenbeweis annehmen, ein Computer habe ordnungsgemäß funktioniert. Das heißt, das Gericht kann allein anhand von Computeraufzeichnungen zufrieden sein, dass die relevanten Tatsachen bewiesen sind, und wenn der Angeklagte nicht zeigen kann, dass der Computer nicht richtig funktioniert hat, akzeptiert es, dass beim Poststellenleiter ein finanzieller Fehlbetrag vorlag. Kurz gesagt: Wenn der Kern der Anklage Computeraufzeichnungen sind, dann hat der Computer gesagt, dass man schuldig ist
Von Software, die auf sehr niedriger Ebene direkt mit der Hardware arbeitet, wird häufig erwartet, dass sie diese Unebenheiten ausgleicht
Ein altes Beispiel: In Intel-Pentium-CPUs gab es zwei bekannte Bugs, die nach der Veröffentlichung entdeckt wurden. Den Gleitkomma-Divisionsfehler FDIV, der 1994 zu einem Rückruf führte, und den 1997 entdeckten F00F-Bug, der den Prozessor bis zum Neustart zum Stillstand brachte.
https://en.m.wikipedia.org/wiki/Hardware_bug
Weil sie meistens funktioniert, hält man es fast immer für ein Benutzerproblem. Wenn man nicht weiß, wonach man suchen muss, schließt man nur die Fehlerfälle aus, die man kennt, und landet dann bei einem furchtbaren Fehlurteil wie in dem obigen Text
Diese Vermutung wird vor allem dann problematisch, wenn der Betreiber des Computers auf derselben Seite steht wie die Partei, die verfolgt
Es geht zwar darum, was Gerichte annehmen sollten, aber man kann auch fragen, was Softwareentwickler annehmen oder nicht annehmen
Softwareentwickler werden davon ausgehen, dass weit verbreitete Software korrekt funktioniert. Selbst wenn es auf GitHub 3.500 pandas-Bugs gibt, geht man davon aus, dass das JavaSDK oder die pandas-Bibliothek korrekt funktioniert. Wenn man dagegen eine weniger bekannte Bibliothek integriert oder weniger bekannte Software verwendet, ist man sich ihrer Funktionsweise weniger sicher
In dem Sinne, dass sich dann über Jahre hinweg Tausende darüber beschweren. Weniger zynisch gesagt: Bei weit verbreiteten Funktionen weit verbreiteter Software kann man erwarten, dass sie unter realen Bedingungen getestet wurden; wenn es also Bugs gibt, sind sie zumindest wahrscheinlich bekannt. Aber schon der Zustandsraum mittelmäßig komplexer Software erfordert enorme Tests, um alles abzudecken. Man muss sich nur ansehen, wie groß die Testsuite von SQLite ist. Der einzige gut funktionierende Ansatz, um Software mit wenigen Bugs zu bauen, scheint darin zu bestehen, kleine, in sich geschlossene, isolierte und gut verstandene Bausteine zu kombinieren, sodass das Ganze leichter nachvollziehbar wird. Das ist die ursprüngliche Unix-Philosophie, die Philosophie der funktionalen Programmierung und – auch wenn asynchrone Interaktionen schwerer zu durchdenken sind – ein Teil der Philosophie von Actor-Systemen. Ich hoffe, dass man diesen Ansatz in der Praxis immer häufiger sehen wird
Der Titel ist vielleicht eher das Gegenteil von Clickbait
Der Artikel behandelt den Post-Office-Skandal und greift damit ein wirklich großes Thema auf
Link zur Archivierung: https://archive.ph/wip/AJl8i