Wie AI halbgare Gedanken in die Sprache von Experten verwandelt
- Auf LinkedIn und in AI-Communitys sieht man oft Frameworks mit großspurigen Namen wie „Existential Invocation Engine“, „D9 Governance System“ oder „Total Agent Orchestration“
- Solche Texte gehen oft von realen Problemstellungen aus, etwa AI-Governance, Agentenarchitekturen, Ausführungskontrolle oder Berechtigungsmanagement
- Das Problem ist jedoch, dass Namen, Terminologie, Diagramme und Dokumentstruktur bereits professionell ausgearbeitet sind, noch bevor es eine tatsächliche Implementierung oder Validierung gibt. Es gibt weder funktionierenden Code noch Fehlerbedingungen oder Testergebnisse
- Die Struktur ist identisch mit Platons Höhlengleichnis: So wie Gefangene Schatten Namen geben und sie für die Realität halten, macht AI die Schatten ungeprüfter Konzepte schärfer und ausgefeilter als jede Generation zuvor
- Joel Spolsky beschrieb diesen Expertentyp, der sich so tief in Abstraktionen verliert, dass der Kontakt zur realen Implementierung verloren geht, als „Architecture Astronaut“
- Das zentrale Risiko ist nicht Unwissenheit an sich. Es ist der Moment, in dem Unwissenheit fließend wird
Warum Experten anfälliger sind als Anfänger
- Studie von Dan Kahan (2012): Wenn Überzeugungen mit der beruflichen Identität verschmelzen, dient kognitive Fähigkeit nicht mehr der Genauigkeit, sondern der Verteidigung. Je höher die Schlussfolgerungsfähigkeit, desto effizienter werden Argumente zum Schutz bestehender Strukturen konstruiert
- Glickman und Sharot (2025): Mensch-AI-Interaktionen verstärken bestehende Verzerrungen deutlich stärker als Mensch-Mensch-Interaktionen
- Versuchsteilnehmer passten ihre Ansichten an AI-Antworten an und gewannen sogar dann mehr Sicherheit, wenn diese sachlich falsch waren
- Die meisten erkannten nicht, wie sehr sie falschlagen. Die Autoren beschreiben dies als Snowball Effect
- Forschung zum Bestätigungsfehler bei LLMs: Wenn ein Prompt eine hypothetische Annahme implizit enthält, verstärkt das Modell diese Annahme eher, statt sie zu korrigieren
- „Erkläre mir, warum mein Framework die authority gap löst“ → Das Modell erzeugt eine gründliche und überzeugte Erklärung dafür, dass genau dies gelöst werde. Der psychologische Effekt ist derselbe wie bei etwas Verifiziertem
- In Multi-Turn-Gesprächen unterwerfen sich LLMs mit fortschreitendem Austausch zunehmend dem Framing des Nutzers
- Experten, die ein Framework über Dutzende von Sitzungen hinweg verfeinern, erhalten kein unabhängiges Feedback, sondern stärken am Ende nur ihre eigenen Annahmen weiter
Der vierstufige Prozess, mit dem Experten mithilfe von AI ihr eigenes Schloss bauen
- Einsicht (Insight): Experten haben ihr eigenes Konzept. Es ist nicht falsch, aber noch nicht konkretisiert oder validiert
- Terminologisierung (name): AI konzeptualisiert und detailliert dies im Gespräch. Ein definierter Begriff mit klarer interner Struktur entsteht. Eine lose Intuition kristallisiert zu einem Substantiv
- Strukturierung (Scaffold): Ist die Begriffsklärung abgeschlossen, baut AI rückwärts die Substanz auf. Definition → formale Eigenschaften → mathematisches Modell → Methodik zur Stützung eines Papers → zugehörige Taxonomie von Fehlerfällen. Die Richtung des Schließens kehrt sich um. Nicht Erfahrung erzeugt Theorie, sondern Theorie beginnt im Nachhinein Erfahrung neu zu framen
- Abschirmung (Wall): Ohne externe Validierung oder Peer Review verleiht man dem eigenen Frame rhetorische Autorität. Das Dokument ist poliert, die Diagramme wirken professionell, die Logik ist intern konsistent. Am Ende ist man selbst überzeugt, ein Experte zu sein
Das Kriterium, um Erklärungen realer und falscher Systeme zu unterscheiden: Falsifizierbarkeit
- Problematisch sind Frameworks, die operative Claims wie production-ready, agent-safe, audit-grade oder liability-reducing vorbringen und sich gleichzeitig weigern, die Bedingungen zu benennen, unter denen diese Claims scheitern würden
- Echte Engineering-Dokumente haben eine eigentümliche Rauheit: Es gibt Trade-offs, bekannte Grenzen, und Formulierungen wie „noch nicht gelöst“ tauchen auf
- Frameworks, die auf von AI verstärkter interner Konsistenz aufgebaut sind, wirken verdächtig glatt. Für jede Ausnahme gibt es eine weitere Schicht, für jeden Einwand eine Kategorie, und das System scheitert niemals, sondern wird angeblich eskaliert, isoliert oder zurückgestellt
- Das strukturelle Risiko steigt, wenn das primäre Publikum keine Engineers, sondern kaufentscheidende Personen sind. Formulierungen wie „deterministic consequence boundaries“ lesen sich wie Lösungen, aber Käufer sind nicht in der Position, die Fehlerbedingungen direkt zu überprüfen. Ungeprüfte Sprache gelangt so zuerst in den Vertrag
Drei Fragen, die man zuerst stellen sollte, um nicht im Schloss gefangen zu sein
- Was würde dies falsifizieren?
- Welche Belege ignoriere ich gerade?
- Welcher externe Test würde diese Theorie in Verlegenheit bringen, wenn sie scheitert?
Noch keine Kommentare.