Der „Accountability Sink“ von Organisationen, der Verantwortlichkeit absorbiert
(aworkinglibrary.com)- Dan Davies’ The Unaccountability Machine sieht Organisationen als Strukturen, die Accountability Sinks schaffen, indem sie die Folgen von Entscheidungen absorbieren oder verwischen, sodass niemand direkt verantwortlich gemacht werden kann
- Solche Strukturen funktionieren, wenn sie Verbindungen kappen, damit Feedback der von Entscheidungen betroffenen Menschen nicht in den Betrieb des Systems zurückfließen kann
- Beispiele für gekappte Verbindungen zwischen Entscheidern und Geschädigten sind der Abbau von Reinigungspersonal in Hotels, die Ablehnung von Behandlungen durch Versicherer, Flugstreichungen, die Feststellung der Nichtberechtigung für staatliche Leistungen und Forderungen von Investoren, AI in Apps einzubauen
- Wenn wie bei Dominion Systems vs Fox News kein ausdrücklicher Beschluss vorliegt, sondern das implizite Verständnis, dass Publikumsmetriken oberste Priorität haben, Folgeentscheidungen vorantreibt, verschwimmt die Herkunft der Entscheidung und Verantwortlichkeit lässt sich schwer einfordern
- Entscheidungen an Algorithmen zu delegieren macht es einfacher, Accountability Sinks zu schaffen; große Organisationen wie Unternehmen und Regierungen sind solche Strukturen jedoch bereits gewohnt, sodass AI eher ein Mittel ist, Accountability Laundering auszuweiten
Wie Accountability Sinks funktionieren
- Ein Accountability Sink ist eine Organisationsstruktur, die die Folgen von Entscheidungen absorbiert oder verdeckt, sodass niemand direkt verantwortlich gemacht werden kann
- Wenn eine Führungskraft eines Hotelunternehmens Reinigungspersonal reduziert, können die Zahlen in den Büchern besser aussehen; Kunden, die nicht einchecken können, weil ihre Zimmer nicht bereit sind, haben jedoch keine Möglichkeit, sich bei dieser entscheidenden Person zu beschweren oder die Auswirkungen zurückzuspielen
- Das Personal an der Rezeption kann Gutscheine anbieten, aber was die Kunden brauchen, ist ein Zimmer
- Der Feedback-Pfad zwischen Entscheider und Betroffenen verschwindet
- Nach Davies’ Maßstab muss ein Accountability Sink, um zu funktionieren, die Verbindung kappen, damit das Feedback der Betroffenen nicht in den Betrieb des Systems einfließt
- Dieselbe Struktur wiederholt sich in vielen Situationen
- Wenn eine Krankenversicherung eine Behandlung ablehnt
- Wenn eine Fluggesellschaft einen Flug streicht
- Wenn eine Behörde erklärt, dass kein Anspruch auf Leistungen besteht
- Wenn Investoren ihre Portfoliounternehmen dazu drängen, sogenannte AI in Apps hineinzupressen
Befugnisse und Erklärungen, die Verantwortlichkeit ermöglichen
- Verantwortlichkeit hängt mit dem Umfang der Fähigkeit zusammen, eine Entscheidung zu ändern
- Davies sieht den Grad, in dem man eine Entscheidung ändern kann, als den Grad, in dem man für diese Entscheidung verantwortlich sein kann
- Sidney Dekkers Definition von Accountability verbindet Verantwortlichkeit mit einer „erzählbaren Erklärung“
- Man muss verstehen, wie etwas geschehen ist, welche Bedingungen vorlagen, warum es damals wie eine gute Entscheidung aussah und wer beteiligt war, um daraus künftig bessere Entscheidungen lernen zu können
- Kombiniert man beide Rahmen, braucht Verantwortlichkeit sowohl die Befugnis zur Änderung als auch eine Erzählung darüber, wie diese Befugnis genutzt wurde
- Entscheidungen Algorithmen zu überlassen ist ein bequemer Weg, Accountability Sinks zu schaffen
- Unternehmen, Regierungen und Organisationen dazwischen sind jedoch bereits geübt darin, Accountability Sinks zu erzeugen
- Das von AI gebotene Accountability Laundering ist nichts völlig Neues, sondern eine ausgeweitete und verstärkte Form
- Methoden, mit denen man gescheitert ist, Unternehmen zur Verantwortung zu ziehen, werden gegenüber Algorithmen kaum erfolgreicher sein; es braucht einen anderen Ansatz
1 Kommentare
Hacker-News-Kommentare
Ich hatte an einem deutschen Flughafen bzw. bei einer deutschen Airline ein ähnliches Erlebnis und dachte dasselbe.
Es war ein vollständig automatisierter Flughafen, der Check-in lief per Self-Service, und ich interagierte nur mit einem Computer. Als ich meine Bordkarte einlegte, druckte er lediglich einen Zettel aus, dass mein Gangplatz in einen Mittelsitz geändert worden sei. Ich versuchte bis zuletzt, jemanden zu finden, um mich zu beschweren, aber der Computer reagierte nur so, wie es die UI vorsah, und die Programmierer hatten meine Situation offenbar nicht bedacht. Auch das Bodenpersonal konnte nichts tun, weil es nicht in ihren Zuständigkeitsbereich fiel, und die spätere Umfrage bezog sich auf einen anderen Abschnitt, sodass es schwierig war, die Beschwerde überhaupt richtig vorzubringen.
Wo der Ersatzbus abfuhr, stand weder in der App noch irgendwo im Bahnhof. Der Busfahrer reagierte genervt auf einen älteren Mann, der fragte, ob er seinen Anschlusszug noch erreichen könne, und sagte, das sei nicht seine Aufgabe. Im Bus war es dunkel, die Fenster waren durch Feuchtigkeit undurchsichtig, es gab weder Haltestellenansagen noch Anzeigen, und eine Stunde lang funktionierte die Heizung nicht. In derselben Woche wurde meine SIM-Karte gelöscht und ein Paket verschwand ebenfalls; selbst die Menge an „nicht mein Problem“, die ich bei den Kundenservice-Hotlines erlebt habe, zu dokumentieren, ist mir inzwischen nicht mehr mein Problem.
Die einzige Person, die ich finden konnte, war ein Sicherheitsmitarbeiter, der mir nur sagte, ich solle die Nummer am Automaten anrufen. Die Person am Telefon sprach kein Englisch, und meine 50 € sind irgendwo, aber sie zurückzubekommen würde vermutlich mehr kosten als der Betrag selbst.
Früher hatte Amazon ein Paket als zugestellt markiert, das nirgends zu finden war, und es gab keine Möglichkeit, Hilfe zu bekommen; in den FAQs stand nur, man solle im Gebüsch nachsehen. In der Autovervollständigung der Suche tauchten mehrere Formulierungen wie „zugestellt, aber Paket nicht da“ auf, was es noch ärgerlicher machte. Heute ist es etwas besser, aber immer noch ähnlich.
Man sollte zuerst in gutem Glauben versuchen, das Problem zu lösen, und diese Versuche dokumentieren, damit sie bei einer Anhörung als Beweis dienen können. Danach reicht man die Forderung ein, und meistens geben Unternehmen sofort nach; so kann man echten Kundenservice in der einzigen Sprache erzwingen, die Unternehmen verstehen.
In der Bürokratie dieses Films gab es immerhin noch Menschen, die Schuldgefühle haben konnten; hier müssen Menschen gar nicht direkt beteiligt sein, wodurch das Ganze in viel größerem Maßstab dystopisch werden kann.
Ich denke schon lange, dass eine der Hauptfunktionen von Unternehmen darin besteht, Verantwortung zu verwischen. Der Begriff beschränkte Haftung hat seinen Grund, und weil man Unternehmen nach Belieben gründen kann, lässt sich Verantwortung leicht in dunkle Ecken schieben.
Deshalb gibt es starke Gründe, Unternehmen nicht als Personen zu betrachten. Menschen sind langlebige, verantwortliche Wesen; man kann sie nicht beliebig erschaffen oder verschwinden lassen.
Unternehmen funktionieren intern und in ihren Beziehungen zu Zulieferern genauso. Eine Kostenstelle zahlt Geld und delegiert Verantwortung.
Ich finde es schon lange seltsam, dass darüber nicht mehr gesprochen wird. Offenbar haben sich alle zu sehr daran gewöhnt. Meiner Meinung nach sollte man das Konzept von Unternehmensstrafen abschaffen und stattdessen die Personen strafrechtlich verfolgen, die die illegalen Handlungen begangen haben.
Cathy O'Neils Weapons of Math Destruction (2016, Penguin Random House) ist ein guter Begleittext zu diesem Konzept aus Sicht derjenigen, die solche Systeme bauen oder überwachen.
Cathy argumentiert, dass der Einsatz von Algorithmen in bestimmten Kontexten schädlich ist und verantwortungslose Systeme in neuer Größenordnung ermöglicht, und dass man ihn kontrollieren muss.
https://www.penguinrandomhouse.com/books/241363/weapons-of-m...
Es funktioniert genauso, wenn man statt eines Algorithmus ein rituelles Loch einsetzt oder eine Situation, in der der Status als Polizist faktisch Immunität vor zivilrechtlicher Haftung und strafrechtlicher Verfolgung verleiht. Was schädliche und verantwortungslose Systeme letztlich ermöglicht, ist die Entscheidung von Menschen, andere Menschen aus welchem Grund auch immer nicht zur Verantwortung zu ziehen.
Dieses Beispiel ist schlecht, weil es nicht den Tatsachen entspricht. Im Fall Fox News gegen Dominion räumte Rupert Murdoch unter Eid ein, dass „Fox zeitweise die falsche Vorstellung einer gestohlenen Wahl unterstützt hat“, und dass er, obwohl er wusste, dass diese Behauptung falsch war, nicht anordnete, dass der Sender etwas anderes sagen sollte.
Auch die Kommunikation der internen Moderatoren bei Fox zeigt, dass sie wussten, dass das, was sie sagten, falsch war. Das fällt eindeutig unter die Definition von Lüge, und die „External Links“ bei Wikipedia enthalten echte Gerichtsunterlagen, die detailliert zeigen, wer wann was wusste und sagte.
[1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
[2] https://www.nbcnews.com/politics/elections/dominion-releases...
[3] https://www.dictionary.com/browse/lie
[4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...
Ich vermute, dass einer der Hauptgründe, warum Automatisierung, insbesondere die Appifizierung, für Management und C-Level so attraktiv ist, darin liegt, dass sie die Verantwortlichkeitskette kappen kann.
Viele Unternehmen haben heute eine Struktur, die aus einer „Management-Schicht“ besteht, in der Produktmanager, Entwickler und Betriebsverantwortliche die interne IT-Infrastruktur, die „Software-Schicht“, warten und verbessern; aus einer „Software-Schicht“, einer riesigen Automatisierungsinfrastruktur, die den Arbeitsalltag tatsächlich am Laufen hält; und aus einer „Arbeiterschicht“, die wie Uber-Fahrer, Lieferfahrer oder Amazon-Lagerarbeiter die physische Arbeit bei niedrigen Löhnen und hoher Fluktuation erledigt. Die Arbeiter erhalten fast alle Anweisungen über Apps und Geräte, haben keinen Kontakt zur Geschäftsführung, und das Unternehmen bestreitet häufig sogar, dass sie überhaupt Beschäftigte sind. Entscheidend ist, dass die Software-Schicht wie eine Verantwortungs-Firewall zwischen den beiden Schichten wirkt: Beschwerden der Arbeiter kommen nicht über die Software hinaus nach oben, und ausbeuterisches Verhalten kann als unglücklicher Softwarefehler abgetan werden.
Die Begründung lautet dann: „Das sind die Regeln“ oder „So ist das System“. Wer die Regeln festgelegt und das System gebaut hat, scheint niemand zu wissen; dem direkt nachzugehen ist nahezu eine Herkulesaufgabe und endet meist als Zeitverschwendung.
Der Unterschied ist, dass Anweisungen und Verfahren heute häufig nicht mehr von Menschen, sondern von Software und Hardware ausgeführt werden. Das Endergebnis für Kunden hat sich weniger stark verändert, als man denkt. Sie bekommen immer noch denselben Kaffee oder dasselbe Taxi, nur schneller, günstiger oder etwas besser; solche schrittweisen Verbesserungen waren auch schon vor der IT durch internes Produktmanagement und Verbesserungen organisatorischer Abläufe möglich.
Ein Text, der viel Stoff zum Nachdenken bietet. Dieses Problem zeigt, warum staatliche Verbraucherschutzbehörden und Gesetze wichtig sind.
Wenn man über Europa fliegt oder eine europäische Fluggesellschaft nutzt, gibt es ein EU-Gesetz, das bei einer Verspätung von mehr als drei Stunden oder einer Annullierung etwa 600 Euro Entschädigung vorsieht. Das ist eine gute Absicherung: Egal welchen Unsinn das Unternehmen am Flughafen erzählt, man kann Entschädigung bekommen, und das Verfahren, um das Geld zu erhalten, ist ziemlich einfach. Es bietet einen Weg, der die Systeme der Airline umgeht und direkt zur Entschädigung führt; außerdem kann es für Fluggesellschaften ein echter Anreiz sein, ordentlich zu arbeiten, weil sie sonst zu viele Strafzahlungen leisten müssen. Solche Schutzgesetze sind wirklich nötig, um Situationen zu vermeiden, in denen Unternehmen Kunden hinter Chatbot-Barrieren aussperren.
Bei neuen automatisierten staatlichen E-Filing-Systemen erlebe ich so etwas ziemlich oft. Da ich Screenreader nutze und Stift und Papier ohne Hilfe schwer verwenden kann, mochte ich solche Systeme anfangs ziemlich, aber meine Meinung hat sich etwas geändert.
Auf Papier kann man alles Mögliche eintragen, und ein Mensch prüft, ob es Sinn ergibt. Beim Computer ist das anders: Wenn die Zahlen in einem Antrag zueinander passen müssen, muss man selbst in speziellen Fällen, in denen sie in Wirklichkeit leicht voneinander abweichen, die Regierung belügen, damit die Zahlen stimmen. Als ich beim zuständigen kommunalen Amt anrief, sagten sie mir im Grunde verklausuliert, ich solle die Regierung belügen. Das System wird zentral verwaltet, die lokale Stelle hat keine Änderungsrechte, und selbst wenn sie es beheben wollten, hätten nicht einmal sie die Befugnis dazu.
Als STS-Doktorand habe ich überlegt, ein Projekt darüber zu machen, wie Software wie ein Regler für Handlungsmacht funktioniert.
Die Struktur ist, dass Einzelpersonen bestimmte Risiken übernehmen, meist Risiken wirtschaftlicher Transaktionen, während der Großteil der Gewinne an die Eigentümer der Software geht. Uber und verwandte Dienste sind in vielerlei Hinsicht Mechanismen, die Einzelpersonen dazu bringen, gegen eine kleine Gebühr ein Risiko mit geringer Wahrscheinlichkeit, aber hohem Schadenspotenzial nach unten zu übernehmen.
Der Vergleich mit AI liegt auf der Hand: Entscheidungen an Algorithmen zu delegieren ist eine bequeme Art, eine Stelle zur Absorption von Verantwortung zu schaffen. Mein LinkedIn-Konto hat ein Flag, das verhindert, dass ich einen „follow-me“-Link in mein Profil einfüge.
Niemand im Support weiß warum, seit wann das so ist oder wann es sich ändern wird. Wir leben bereits in dieser Welt.
Organisationen existieren, um moralische Verantwortung zu beseitigen
Richter, Geschworene, Henker, Erschießungskommandos und Organisationen mit beschränkter Haftung passen alle in eine saubere Schachtel, die es Menschen erlaubt, nachts zu schlafen. Der Richter sagt, die Geschworenen hätten geurteilt; die Geschworenen vertrauen darauf, dass der Richter ein gerechtes Strafmaß festlegt; der Vollstrecker glaubt, die beiden vorherigen Gruppen hätten ihre Aufgabe getan. Solche Systeme hindern weniger eine einzelne Person am Handeln, sondern schaffen vielmehr eine Reihe von Übergaben, sodass, wenn der Wärter die Tür schließt, die Beteiligung an der Moral des Ergebnisses verschwunden ist. Dass bei einem Erschießungskommando nur eines von mehreren Gewehren scharf geladen ist, folgt derselben Struktur. Große Institutionen und Organisationen, Dinge im großen Maßstab, sind völlig unmenschlich; wenn die Person, die das Urteil spricht, die Strafe auch selbst vollstrecken müsste, wäre das Ergebnis wohl ein anderes
Würde man die Geschworenen die Hinrichtung vollstrecken lassen und den Richter für die Inhaftierung verantwortlich machen, entstünde für sadistische Menschen ein enormer Fehlanreiz. Es ist eine falsche Annahme, dass Richter oder Geschworene mehr Mitgefühl hätten, wenn sie diese Last direkt tragen müssten. Tatsächlich würden dann wahrscheinlich gerade Menschen, denen man solche Aufgaben nicht übertragen möchte, diese Aufgaben übernehmen. Abgesehen von der Methode mit Platzpatronen bei Hinrichtungen schützen die übrigen Institutionen eher die verurteilte Person als die Menschen innerhalb des Systems
Man kann eine Partei gründen, die behauptet, Gewaltenteilung sei der falsche Weg gewesen; besser noch, man besucht eines der Dutzenden Länder mit einem Superdiktator