Wenn AI scheitert, kann Unentschlossenheit gefährlicher sein als systematische Fehler (Anthropic Alignment Research)

(Ein sehr wichtiger Einblick in die tatsächlichen Fehlermuster der neuesten Reasoning-Modelle, Stand Februar 2026)

Kernaussage

• Bisherige AI-Sicherheitsforschung: Fokus auf systematische misalignment (das konsequente Verfolgen falscher Ziele)
• Tatsächliche Fehlermuster moderner Modelle: Inkonsistenz und Unentschlossenheit (variance / incoherence) treten deutlich stärker hervor → das könnte das größere Problem sein

Wichtige Beobachtungen (neueste Reasoning-Modelle wie Claude Sonnet 4, o3-mini, o4-mini)

• Schwierigkeitsgrad der Aufgabe ↑ & Länge des Reasonings ↑ → Inkonsistenz nimmt sprunghaft zu
• Leichte Probleme → größere Modelle sind konsistenter
• Schwierige Probleme → selbst bei größeren Modellen gibt es kaum Verbesserungen bei der Inkonsistenz, teils wird sie sogar schlimmer
• Je länger das Modell selbst nachdenkt (natürliches overthinking), desto stärker steigt incoherence explosionsartig an

Klassifikation der Fehlertypen

• Bias (systematischer Fehler): geht immer in dieselbe falsche Richtung (typische misalignment)
• Variance (inkonsistenter Fehler): gibt auf dieselbe Frage jedes Mal eine andere abwegige Antwort → unvorhersehbar
• Metrik für Incoherence = der Anteil von variance an den Fehlern (je näher an 1, desto sprunghafter)

Grundursache

• LLMs sind keine Optimierer (optimizer), sondern dynamische Systeme (dynamical system)
• Ihre Struktur zeichnet Trajektorien in hochdimensionalen Zustandsräumen → das konsequente Verfolgen eines konsistenten Ziels ist inhärent schwierig
• Mit zunehmender Skalierung wird die „Zielerkennung“ zwar schneller, aber die Fähigkeit, dieses Ziel bis zum Ende konsistent zu verfolgen, verbessert sich relativ langsam

Implikationen für die AI-Sicherheit

• Die Form künftiger AI-Unfälle dürfte eher „sprunghafte Zwischenfälle auf dem Niveau von Industrieunfällen“ sein als „böswilliges Zielverfolgen“
  (z. B. liest das Modell französische Gedichte und gerät plötzlich in einen Meltdown)
• Ein Wandel der Forschungsprioritäten ist nötig
  • Dringender als perfekte Zielausrichtung (alignment) sind weniger Bias + Verhinderung von Reward Hacking + klarere Zieldefinitionen
• Inkonsistenz garantiert keine Sicherheit (im Gegenteil: Sie kann wegen ihrer Unvorhersehbarkeit gefährlicher sein)

Fazit

• Die Hauptbedrohung bei AI-Fehlern verschiebt sich von systematischen Fehlern zu inkonsistenten, zerstreuten Fehlern
• Alignment-Forschung muss aus der Perspektive dynamischer Systeme neu konzipiert werden
• Der Glaube, dass ein „intelligenteres“ Modell automatisch sicherer wird, ist gefährlich

https://aisparkup.com/posts/8979