KI betäubt nicht eine einzelne Person, sondern die ganze Organisation: die Ironie der Automatisierung, die Luftfahrt und Medizin zuerst erlebt haben

Die Fähigkeit, gut mit KI umzugehen, und die Fähigkeit, ihre Ausgaben zu verifizieren, sind zwei verschiedene Achsen; während die eine steigt, wird die andere still abgeschliffen. Dieser Text behandelt den Mechanismus, durch den sich dieses Abschleifen nicht auf Individuen, sondern auf ganze Organisationen ausbreitet, und wie Führungskräfte strukturell darauf reagieren können.

• KI ist keine Abstraktion, die Low-Level-Arbeit verbirgt, sondern ein probabilistischer Stellvertreter, der an deren Stelle tritt. Bei bisherigen Abstraktionen wie React oder ORM konnte man bei Bedarf die Leiter hinabsteigen und Kausalität prüfen, aber über KI gibt es diese Leiter gar nicht mehr.
• Das Schlüsselkonzept ist kognitive Inhaberschaft: ein Zustand, in dem man „die logische Spur von Anfang bis Ende erklären kann, warum dieser Code genau so geschrieben werden musste“. Es geht nicht darum, durch wessen Hände der Code gegangen ist, sondern in wessen Kopf seine Kausalität vorhanden ist.
• KI nivelliert nicht Können, sondern Plausibilität. Nur der Tiefpunkt der Verteilung der Codequalität wurde angehoben; das Können selbst ist nicht gestiegen, und je besser das Modell wird, desto weniger sichtbar wird die Tatsache, dass die Kausalität leer ist.
• Die Erzeugungskosten nähern sich null, aber die Verifizierungskosten bleiben gleich. Durch den ökonomischen Druck, dass die Person, die eine in 1 Sekunde erzeugte Codebasis 1 Stunde lang verifiziert, in den Organisationskennzahlen als die langsamste erscheint, kann kritische Übernahme nicht allein durch Willenskraft durchgehalten werden.
• Es werden Präzedenzfälle aus Luftfahrt, Neurowissenschaft und Medizin angeführt: die Ironie der Automatisierung (Bainbridge, 1983), Air-France-Flug 447, die Hippocampus-Atrophie bei GPS-Abhängigen und die verringerte Sensitivität von CAD bei der Mammografie.
• Die Verschreibung muss die Struktur des Teams sein, nicht der Entschluss des Einzelnen. Vorgeschlagen wird, die Ineffizienz von Inhaberschaft nicht als „Moral“, sondern als „Versicherungsprämie“ buchhalterisch zu behandeln.

Detaillierte Zusammenfassung

KI ist keine Abstraktion, sondern ein Stellvertreter

• Bisherige Tools waren deterministisch (gleicher Input, gleicher Output), daher ließ sich Kausalität nachverfolgen. KI ist ein probabilistischer Stellvertreter, daher kommt selbst bei derselben Anfrage jedes Mal ein anderes Ergebnis heraus, und auch wenn man den Code lesen kann, gibt es keinen Weg zu der Frage, „warum er so geschrieben wurde“.
• Bei selbst geschriebenem Code bleibt die Kausalität im Kopf erhalten, bei von KI geschriebenem Code bleibt nur das Ergebnis, während die Kausalität den Kopf nie durchläuft. Das wird mit dem wiederholten Unterschreiben eines Vertrags in einer Sprache verglichen, die man nicht versteht.

Die Nivellierung der Plausibilität

• Beobachtungen aus der Praxis als Interviewer und PR-Reviewer: Variablennamen sind sauber, die Struktur wirkt plausibel, aber beim näheren Hinsehen findet man doppelte Funktionen, unklare Aufgabentrennung und Bündel von Side Effects.
• Der ehrlichste Beleg ist der Moment, in dem jemand auf die Frage „Warum haben Sie das hier so gemacht?“ keine Antwort geben kann. Das ist ein direktes Signal für Code, dessen Oberfläche intakt wirkt, dem aber die Kausalität fehlt.

Die Betäubung breitet sich auf Organisationsebene aus

• Früher wurde Kausalität durch die doppelte Inhaberschaft von Autor und Reviewer verteilt gespeichert; wenn nun sowohl das Schreiben als auch die Prüfung von KI übernommen werden, entsteht ein Zustand, in dem die Kausalität eines PRs in keinem Kopf des Teams mehr vorhanden ist.
• „Wenn ein KI-Review-Bot zusammenfasst, überfliegt ein Mensch es und sagt LGTM“ sieht nur wie Verifizierung aus, ist aber nur ein weiteres kausalitätsloses Artefakt. Das Prinzip „Den Code, den ich geschrieben habe, betreibe ich auch“ kollabiert.

Geschmack wächst nur im Defekt

• Eine Gegenrede zu der Erzählung „Implementierung macht die KI, der Mensch liefert nur noch Geschmack (taste)“. Geschmack wächst nicht dadurch, dass man viel guten Code liest, sondern durch die Erfahrung, dass der eigene Code kaputtgeht und man direkt vor Ort der Kausalität nachspürt.
• Es werden Heideggers Hammer-Metapher (erst im Defekt zeigt sich das Wesen des Werkzeugs) und Aristoteles’ praktische Weisheit angeführt. KI beseitigt nicht den Defekt selbst, sondern die „Erfahrung, einen Defekt zu erleben“, und schließt damit die Schmiede, in der Geschmack wächst.

Dort, wo die Lehre abreißt

• Frühere Abstraktionen haben Kausalität „nur verborgen“, nicht beseitigt, sodass die Leiter erhalten blieb; über KI wird diese Leiter nicht von selbst ausgelegt. Ob Fähigkeiten wachsen, wird nicht durch den Willen des Einzelnen entschieden, sondern durch die Struktur, in der er sich befindet.
• Die Person, die entscheidet, ob diese Leiter im Team notfalls künstlich wieder hingelegt wird, ist die Führungskraft.

Die Verschreibung muss die Struktur des Teams sein

• Als Review-Regel festschreiben: „Code, dessen Kausalität nicht erklärt werden kann, wird nicht gemergt“, und die Bedeutung von LGTM in eine Übernahmeerklärung verschieben: „Ich kann diesen Code erklären“, dazu stichprobenartige Spot-

Checks einführen

• Als Teamfähigkeit entwickeln, wie Menschen das Design in der Hand behalten und es dann an KI übergeben (inklusive Spezifikation von Constraints und Edge Cases).
• Festlegen, welche Ankerpunkte niemals aus der Hand gegeben werden (Core Domain), Ineffizienz in einen absichtlichen Lernpfad umwandeln und nicht nur Geschwindigkeit, sondern auch Inhaberschaft messen — mit Blick auf Goodharts Gesetz jedoch nicht als KPI, sondern nur als Instrumententafel.

Die Krise der Führungskraft: Der Genehmigende, der nicht verifizieren kann, könnte am Ende ich selbst sein

• Wenn die beiden Stützen wegfallen, wird das Einrosten der Führungskraft nicht zu einem individuellen Problem, sondern zum Standardzustand der Organisation. Was Führungskräfte bewahren müssen, ist nicht vollständige Verifikation, sondern die Urteilskraft, zu erkennen, ob die vom Team niedergeschriebene Kausalität echt ist.
• Ob Betäubung einsetzt, lässt sich nicht kontrollieren, aber die Geschwindigkeit, mit der sie sich ausbreitet, schon. Das Ziel ist, „eine Organisation zu bleiben, die noch etwas länger unterscheiden kann“.