Die Komplexitätsratsche von AI-Agenten: Warum 90 % Testabdeckung erforderlich sind

Die Komplexitätsratsche im Zeitalter des AI-Codings - Zusammenfassung von Garry Tans Essay

Dies ist ein langer Essay, den Garry Tan (CEO von Y Combinator) auf X geteilt hat. Darin fasst er seine Erfahrungen aus dem vergangenen Jahr zusammen, in dem er gemeinsam mit AI-Agenten (Claude Code, Codex usw.) zwei Open-Source-Projekte entwickelt hat. Nach eigener Aussage wurde der Großteil von rund 970.000 Codezeilen und 665 Testdateien von AI geschrieben, während er gleichzeitig 15 Agenten-Sessions betrieben hat. Aus diesem Prozess leitet er die These ab, dass der langjährige Grundsatz der Softwaretechnik, wonach man sich zwischen Geschwindigkeit und Qualität entscheiden müsse, nicht mehr gilt, und stellt als zentralen Mechanismus dafür das Konzept der „Komplexitätsratsche“ vor.

Zentrale Konzepte

• Ratsche (Ratchet) ist eine Metapher für ein Zahnrad, das sich nur in eine Richtung bewegt, und bezeichnet hier eine Struktur, die dafür sorgt, dass sich die Qualität einer Codebasis nur vorwärtsentwickelt und nicht zurückfällt.
• Drei Arten von Ablagerungen In jeder Coding-Session mit Agenten sammeln sich in der Codebasis drei Dinge an: Tests (was richtig ist), Dokumentation (warum so entschieden wurde) und Evaluationsergebnisse (Qualitäts-Baseline).
• Nutzung des Kontextfensters Da der AI-Agent in der nächsten Session alle drei Elemente einliest und darauf aufbauend arbeitet, kann er weder Tests brechen noch Dokumentation ignorieren oder die Evaluationswerte verschlechtern.

Unterschiede zur bisherigen Vorgehensweise

• Verändertes Fehlermodell In den letzten 50 Jahren ging die Softwaretechnik von der Annahme aus, dass Fehler fatal sind und deshalb präventiv verhindert werden müssen. Daraus entstanden komplexe Prozesse wie Code Review, QA und Staging. Heute können Agenten die meisten Fehler jedoch im nächsten Turn selbst diagnostizieren und beheben.
• Erweiterte Komplexitätsgrenze Die Obergrenze für Systemkomplexität verschiebt sich von „dem, was ein Team im Kopf behalten kann“ zu „einer Person plus Agenten, die die gesamte Codebasis in ihren Kontext geladen haben“.
• Dauerhaftes institutionelles Gedächtnis Menschen verlassen Unternehmen wegen Kündigung oder Burnout, doch Wissen, das in Tests und Dokumentation festgehalten ist, kann von jedem Modell zu jedem Zeitpunkt wieder abgerufen werden.

Die Bedeutung von 90 % Testabdeckung

• Nichtlineare Qualitätskurve Laut Capers Jones’ Untersuchung von mehr als 10.000 Projekten liegt die Fehlerentfernungsrate bei einer Abdeckung unter 70 % nur bei 65–75 %, während sie bei 85–95 % sprunghaft auf 92–97 % ansteigt. Es gibt also einen „Knickpunkt“.
• Vorbild Luftfahrtindustrie Der Luftfahrt-Softwarestandard DO-178C schreibt für Systeme der Stufe A (kritisch) MC/DC-Abdeckung vor, um eine Fehlerentfernungsrate von über 99 % zu erreichen.
• AI durchbricht die Kostengrenze Die letzten 20 % Testabdeckung waren für Menschen langweilig und teuer, aber Agenten ermüden nicht und schreiben auch nachts endlos Tests für Edge Cases.

Konkrete Beispiele des Autors

• Verbesserung der Extraktionsgenauigkeit bei GBrain Bei mehr als 100.000 Extraktionen von Überzeugungen wurde ein Problem, bei dem in 35 % der Fälle falsch erkannt wurde, „wer diese Behauptung aufgestellt hat“, mit 17 Tests fixiert, sodass keine spätere Version unter dieses Niveau zurückfallen kann.
• TTY-Tests von Superpowers Das Verhalten eines AI-Agenten, interaktive Reviews zu überspringen, wurde direkt mit der Pseudoterminal-Funktion von Bun überwacht und blockiert. Damit wurde auch die unkonventionelle Anforderung „Hat die AI tatsächlich ein Gespräch geführt?“ testbar gemacht.

Vorteile und Grenzen

• Vorteile Externe Mitwirkende müssen nicht das gesamte System verstehen; wenn ihre Änderungen die Tests bestehen, können PRs sicher gemergt werden. Das senkt die Einstiegshürde für Zusammenarbeit.
• Grenzen Fehler, die Zustand zerstören (falsche DB-Migrationen, Sicherheitsverletzungen, Datenschutzlecks), bleiben weiterhin kritisch, und etwa 10 % der Integrationspunkte und der Infrastruktur sind grundsätzlich schwer zu testen.
• Antwort auf Einwände Auf den Einwand „Wer gute Tests schreibt, entwirft meist ohnehin auch gute Architektur“ antwortet er, dass der Kern der Ratsche nicht die Person sei, sondern das Sicherheitsnetz des nächsten Turns.

Die zentrale Botschaft des Autors ist, dass der eigentliche Wert von AI-Coding nicht im „schnelleren Schreiben“ liegt, sondern darin, ein Maß an Verifikation kostenlos zu machen, das bisher als zu teuer aufgegeben wurde. Eine Testabdeckung von 90 %, die 50 Jahre lang Luftfahrt und Medizin vorbehalten war, könnte nun zum Alltag einer einzelnen Person werden. Dadurch steigt die Obergrenze der Softwarekomplexität, die ein einzelner Entwickler bewältigen kann, dramatisch an. Zugleich dient der Text auch der Bewerbung seiner eigenen Open-Source-Projekte (Superpowers, GBrain), und einige zitierte Statistiken (z. B. GPT-5.5) sollten verifiziert werden, sodass eine kritische Lektüre angebracht ist.