Validierungs-Pipeline fand mit 180 AI-Agenten in einem Tag 55 iOS-App-Bugs

Dies ist der Bericht über eine Pipeline, die eine iOS-SNS-App mit Betrieb in 21 Sprachen (ca. 130.000 Zeilen) mit LLM-Agenten auditierte und einen Tag lang laufen ließ.

• Die Rollen von Findern und Prüfern für Bugs wurden getrennt, und als Entscheidungskriterium wurde nicht Mehrheitsentscheid, sondern „gescheiterte Widerlegung“ verwendet, um 0 Fehlalarme zu erreichen
• Fundmeldungen wurden mit erzwungener Ausgabe nach JSON-Schema entgegengenommen, um halluzinierte Berichte strukturell zu blockieren
• Eine Liste bereits bekannter Bugs wurde in den Prompt injiziert, um wiederholte Funde zu verhindern, und als Abbruchbedingung wurden die Runden so lange wiederholt, bis 0 neue Funde herauskamen
• Ergebnis: 6 Runden, etwa 180 Agenten, 55 bestätigte Bugs behoben, 3 halbfertige Fixes vom Validierungsschritt aufgedeckt

Zusammen mit Designentscheidungen wie der Frage, mit welcher Perspektive das Fan-out erfolgte und warum der korrigierte Code erneut widerlegt werden sollte, wurden auch Dinge zusammengestellt, die statische Audits nicht sehen können (Grenzen).