Die Ironie von AI und Automatisierung – Teil 2
(ufried.com)- Im Fokus des zweiten Kapitels „Approaches to solutions“ aus Lisanne Bainbridges Aufsatz von 1983 “The ironies of automation” stehen Erkenntnisse, die sich auf AI-basierte Automatisierung anwenden lassen
- Wenn Menschen die Arbeit von AI-Agenten überwachen, erzeugen schnelle Entscheidungen und kognitive Grenzen unter Stress eine dem industriellen Leitsystem ähnliche Risikostruktur
- Die heutigen LLM-basierten Agenten-UI/UX sind für die Fehlererkennung ungeeignet; es braucht Lernimpulse aus den Entwurfsprinzipien industrieller Leitsysteme
- Durch das Paradox des Trainings wird mit dem Erfolg der Automatisierung eine kontinuierliche und kostspielige Schulung menschlicher Aufsichtspersonen unverzichtbar
- Im Zeitalter der AI-Agenten reicht bloße Aufsicht nicht mehr aus; gefragt ist vielmehr „Leadership-Kompetenz“, was zu einer neuen Form der Mensch-Maschine-Zusammenarbeit führt
AI-Automatisierung und die Grenzen menschlicher Urteilskraft
- In industriellen Leitsystemen muss innerhalb weniger Sekunden reagiert werden, während bei der Automatisierung von White-Collar-Arbeit das unmittelbare Risiko geringer ist, aber dennoch schnelle Entscheidungen und Eingriffe erforderlich bleiben
- Wenn AI mit übermenschlicher Geschwindigkeit Ergebnisse erzeugt, brauchen Menschen zum Verstehen und Prüfen kognitive Unterstützung auf vergleichbarem Niveau
- Die effizienzorientierte Unternehmenskultur und stressige Umgebungen in Unternehmen schwächen die Analysefähigkeit des Menschen und erschweren die Fehlererkennung zusätzlich
- Fehler in AI-Ergebnissen können zu schwerwiegenden Folgen wie Sicherheitsvorfällen führen, weshalb ein Überwachungssystem auf einem industriellen Niveau nötig ist
Das schlimmste UI-Problem
- Bainbridge weist darauf hin, dass „in Situationen, in denen Ereignisse mit geringer Wahrscheinlichkeit schnell erkannt werden müssen, künstliche Unterstützung erforderlich ist“
- Das bedeutet, dass Warnsysteme gestärkt werden müssen, um das Problem der Monitoring-Müdigkeit zu entschärfen
- Die heutige Verwaltung von AI-Agenten-Flotten ist ein ineffizientes Interface, bei dem Menschen Hunderte Zeilen von Plänen prüfen müssen
- Fehler treten selten auf, können aber fatal sein; deshalb ist eine Neugestaltung von UI/UX mit Fokus auf Fehlererkennung erforderlich
- Dafür sollten die Prinzipien visueller Gestaltung und Alarmierung aus industriellen Leitsystemen übernommen werden
Das Paradox des Trainings
- Bainbridge betont die Bedeutung des Erhalts manueller Fähigkeiten und weist darauf hin, dass Menschen Systeme regelmäßig selbst direkt bedienen müssen
- Je höher der Automatisierungsgrad, desto schneller sinkt die Routine und Fertigkeit des Menschen
- Simulatortraining kann unerwartete Fehlersituationen nur schwer nachbilden; daher ist Training mit Fokus auf allgemeine Strategien notwendig
- Wie der Satz „Von Menschen, die darauf trainiert wurden, Anweisungen zu befolgen, Intelligenz zu erwarten, ist eine Ironie“ zeigt, müssen auch AI-Aufseher ihre Fähigkeit zum Umgang mit Ausnahmesituationen kontinuierlich trainieren
- Je erfolgreicher die Automatisierung ist, desto stärker steigen die Kosten für menschliches Training; mit reiner Kostensenkungslogik ist das nicht zu bewältigen
Das Leadership-Dilemma
- Die Aufsicht über AI-Agenten ist keine bloße Überwachung, sondern eine Leadership-Rolle durch Anweisung, Koordination und Feedback
- Menschen müssen nicht mehr direkt ausführen, sondern indirekt Ergebnisse steuern, was einen Wechsel zu einer neuen Arbeitsweise erfordert
- Die meisten Praktiker werden Agenten ohne Leadership-Training managen; der Rat „Schreibe einfach bessere Prompts“ reicht dafür nicht aus
- Es braucht AI-Leadership-Training, das strukturell dem bestehenden Leadership-Training für Menschen ähnelt
- Bis Agenten künftig ausreichend ausgereift sind, ist eine Stärkung der Leadership-Kompetenzen von Aufsichtspersonen unverzichtbar
Fazit: die wahre Ironie der Automatisierung
- Wie Bainbridge schlussfolgert, sind Menschen ohne Zeitdruck hervorragende Problemlöser, doch unter Druck sinkt ihre Effizienz drastisch
- Automatisierung beseitigt menschliche Schwierigkeiten nicht, sondern verlangt im Gegenteil mehr technische Raffinesse und mehr Investitionen in menschliche Fähigkeiten
- Die Erkenntnisse von vor 40 Jahren sind auch im Zeitalter der AI-Agenten weiterhin gültig; das Gleichgewicht der Mensch-Maschine-Zusammenarbeit muss neu bestimmt werden
- Der Fortschritt der AI-Automatisierung hängt mehr von der Neugestaltung der menschlichen Rolle als von der Technik selbst ab
1 Kommentare
Hacker-News-Kommentare
Mir gefällt die Zusammenfassung des Bainbridge-Papiers von 1983 durch diesen Autor wirklich sehr.
Ich hatte versucht, die „Ironie“ der industriellen Automatisierung auf KI-Agenten anzuwenden, habe es aber nie so klar formulieren können.
Das Paper selbst ist kurz, aber dicht und daher nicht leicht zu lesen; es lohnt sich, es zusammen mit dem Original-PDF durchzugehen.
Besonders der Satz „aktuelle Automatisierungssysteme stehen auf den Fähigkeiten früherer manueller Arbeiter“ ist zentral.
Er zeigt also die erste Ironie: Um KI gut zu nutzen, braucht man erfahrene Programmierer, aber um diese Erfahrung zu erlangen, muss man selbst programmieren.
Ein Text voller Einsichten, sehr zu empfehlen.
Kulturelle Outputs wie Kunst oder Schreiben sind ihrem Wesen nach keine Problemlösung, sondern Ausdruckshandlungen.
KI nutzt diese Daten nun fürs Training, ersetzt dabei Arbeit und Vergütung der Kreativen und verschmutzt zugleich die „Allmende“ der Trainingsdaten.
Am Ende wird man entweder die Kreativen bezahlen müssen, oder die Modelle werden sich immer weiter von der zeitgenössischen kulturellen Realität entfernen.
Im Moment befinden wir uns nur an dem Punkt eines zirkulären Problems, an dem wir darauf warten, dass die Folgen sichtbar werden.
Auch danach sollten sie einen gewissen Anteil ihrer Zeit in „manuelle Projekte“ investieren, um ihre Fähigkeiten zu erhalten.
Trotzdem bleibt die Frage, ob das die Dinge wirklich beschleunigt und die Welt besser macht.
LLMs haben ein erstaunliches Niveau erreicht, schaffen aber keine neuen Abstraktionen oder Paradigmen, sondern produzieren nur gut gemachte Nebenprodukte.
Dadurch verspüren Menschen weniger Bedarf, neue Methodologien zu entwickeln.
Vielleicht lösen Reasoning-LLMs dieses Problem irgendwann.
KI-Automatisierung beseitigt menschliche Schwierigkeiten nicht, sondern verlagert sie an einen anderen Ort.
Sie macht sie eher weniger sichtbar und erhöht die Risiken.
Selbst wenn Menschen eingreifen, ist am Ende oft viel Nacharbeit nötig.
Die früheren manuellen Arbeiter sind im Ruhestand, und die heutigen Fabrikbetreiber haben keine Erfahrung mit manueller Bedienung.
Stattdessen haben sie Fähigkeiten darin, zu wissen, „was zu tun ist, wenn die Maschine kaputtgeht“.
Viele Systeme lassen sich gar nicht vollständig manuell betreiben, aber Fabrikautomatisierung ist nach wie vor erfolgreich, und dadurch sind Produkte billig und reichlich verfügbar.
Der Text behandelt zwei Probleme, die beim Einsatz von KI-Agenten entstehen.
Erstens muss ein menschlicher Experte sofort eingreifen, wenn der Agent Fehler macht, doch weil man die Arbeit nicht mehr selbst ausführt, schreitet der Kompetenzabbau schnell voran.
Zweitens muss der Experte zum Verwalter des Agentensystems werden, was eine ungewohnte Rolle ist und ein Gefühl von beruflicher Entfremdung auslöst.
Letztlich steigert Automatisierung zwar die Effizienz, macht menschliches Eingreifen aber schwieriger; statt vollständigem Ersatz erhöht sie eher die Komplexität.
Ich habe früher Excel-Reports mit PowerBI automatisiert, und mehrere Monate lang waren die Ergebnisse falsch.
Durch die Automatisierung verschwand der Instinkt zur Verifikation, und die Fehlersuche wurde viel schwieriger.
Deshalb sollte man bei Automatisierung unbedingt eine Validierungsroutine beibehalten.
Die Touchscreen-Generation kann Geräte problemlos nutzen, aber wenn etwas schiefläuft, ist die ältere Generation oft deutlich im Vorteil.
Bei KI ist es genauso: Solange sie nicht perfekt ist, braucht es am Ende das Eingreifen von Experten.
Nur wird diese Rolle vermutlich eher selten auftreten, wie bei einem Automechaniker.
Selbst mit fortschreitender Automatisierung blieb menschliches Können weiterhin nötig.
KI liefert meistens brauchbare Pläne, aber wenn sie gelegentlich kritische Fehler enthält, ist es Aufgabe des Menschen, diese zu entdecken.
Am Ende überdeckt eine weitere Automatisierung diese Komplexität, und darauf wird dann wieder neue Automatisierung aufgebaut.
Wenn man diese zirkuläre Struktur sieht, bekommt man Lust, Marx’ Das Kapital noch einmal zu lesen.
Der Text erinnerte mich an den Punkt: „Taschenrechner sind schnell und präzise, aber wir müssen trotzdem die mathematischen Prinzipien lernen.“
Programmierautomatisierung liegt auf einem viel kritischeren Pfad als ein bloßer Taschenrechner, daher ist das Risiko des Kompetenzabbaus größer.
KI gibt Probleme nicht einfach auf, daher bleibt der Bedarf an Experten immer bestehen.
Entscheidend ist die Fähigkeit zu wissen, welche Zahlen überhaupt berechnet werden müssen.
Junge Entwickler können nicht einmal grundlegende Routinen selbst schreiben, und es gibt kaum noch Leute, die mit C-Treibern umgehen können.
Interessanter Text, aber ich finde es schade, dass Programmierer in der Praxis nur als Leute wahrgenommen werden, die Fehler der KI aufspüren.
Tatsächlich verbringe ich immer noch den Großteil meiner Zeit damit, die KI zu programmieren.
KI weiß nicht, was gebaut werden soll oder wann man Bestehendes verändern sollte.
Anders als in der Fertigung müssen im Programmieren immer noch Menschen die Produktionspipeline entwerfen.
Die Luftfahrt beschäftigt sich schon seit Langem mit dieser Ironie der Automatisierung.
Der Autopilot übernimmt den größten Teil des Fluges, aber Piloten trainieren jeden Monat manuelle Landungen.
So bleiben die Fähigkeiten erhalten, während man dennoch von den Vorteilen der Automatisierung profitiert.
In der Softwarebranche dagegen hat kurzfristige Produktivität Vorrang, daher wird ein solches Training nicht gefördert.
Ich selbst plane zwar, weiterhin manuell zu coden, aber branchenweit dürfte das schwer durchzusetzen sein.
Übrigens besteht dieses Problem auch in der Luftfahrt weiterhin — ein typisches Beispiel ist der Absturz von Air-France-Flug 447.
Passender Artikel: The Long Way Down – Air France Flight 447
Das Bainbridge-Papier ist interessant, aber der später erschienene Vortrag „Children of the Magenta“ ist praxisnäher.
Das YouTube-Video behandelt die Ausbildung von Piloten im Umgang mit Automatisierung.
Moderne Kampfjets (F-22, F-35 usw.) sind so konzipiert, dass der Fokus weniger auf dem Fliegen als auf dem Führen des Kampfes liegt.
Früher bestand ein Großteil des Trainings aus Landeübungen, heute ist das dank Computerunterstützung stabilisiert, sodass sich Piloten auf strategische Urteilsfähigkeit konzentrieren.
Im Programmieren wird es ähnlich sein: Je weiter sich KI entwickelt, desto mehr Zeit werden Menschen auf taktische Problemanalyse verwenden.
Wenn man KI-Coding-Assistenten mit den SAE-Automatisierungsstufen im Auto vergleicht, ist es leichter zu verstehen.
Im Moment liegen wir etwa bei Level 2 bis 3, also in einem Bereich, in dem menschliche Aufsicht und Verantwortung weiterhin nötig sind.
Bis zur vollständigen Automatisierung (Level 5) ist genau diese Übergangsphase die gefährlichste.
Letztlich werden durch Wettbewerbsdruck alle entweder auf Level 4 oder höher gehen oder verdrängt werden.
Ich stelle die Aussage infrage, dass man „ausreichende Führungsausbildung erhält, bevor man eine Führungsrolle übernimmt“.
In der Realität ist das selten der Fall.
Ich spüre selbst einen Kompetenzabbau.
Meine erste Reaktion ist inzwischen, ein LLM zu benutzen; es ist eine Zeit geworden, in der bewusste Selbstdisziplin nötig ist, fast wie bei Sport oder Ernährung.
Nur ein Teil der Menschen wird dieses Gleichgewicht gut halten können.
Das ist keine Frage der Selbstdisziplin, sondern die Frage, eine Mindestgrenze des Verstehens zu wahren.
Der Satz „Wenn es nicht gut funktioniert, muss man eben bessere Prompts schreiben“ kommt mir viel zu bekannt vor.
Genau das zeigt die heutige Abwälzung von Verantwortung auf KI-Nutzer.