Die perfekte Methode, damit AI nicht lügen kann - leceipts
(github.com/0oooooooo0)Wenn man AI-Coding-Tools verwendet, erlebt man immer wieder eine seltsam vertraute Situation.
Man beschreibt einen Bug
→ „Das Problem wurde behoben“
→ man führt es aus, und es ist immer noch kaputt
Das ist nicht einfach nur ein AI-Problem,
sondern auch ein vertrautes Muster aus menschlichen Code-Reviews.
• „Das müsste wahrscheinlich so funktionieren“
• „Lokal läuft es bei mir“
• „Ich habe die Tests nicht ausgeführt, aber es sieht okay aus“
leceipts ist ein Ansatz, der das nicht über Haltung oder Kultur,
sondern über den Prozess lösen will.
Bei jeder Code-Änderung wird strukturiert erzwungen, dass Folgendes festgehalten wird:
• Root cause: warum das Problem aufgetreten ist
• Change: welche konkrete Änderung vorgenommen wurde
• Recurrence prevention: wie verhindert wird, dass dasselbe Problem erneut auftritt
• Verification: wie verifiziert wurde und was das Ergebnis war
• Remaining risk: welche Bereiche noch nicht überprüft sind
Der Kernpunkt dabei ist „Verification“.
Nicht einfach nur „getestet“,
sondern es wird festgehalten, auf welche Weise überprüft wurde und wie das Ergebnis aussah.
Wenn diese Struktur eingeführt wird, ergeben sich einige Veränderungen
- Schutz vor AI-Halluzinationen
Statt einfach „fixed“ zu sagen, muss das tatsächliche Ausführungsergebnis dokumentiert werden
→ wenn es nicht ausgeführt wurde, fällt das sofort auf - Höhere Qualität bei menschlichen Code-Reviews
PR-Beschreibungen verlagern sich von „Bauchgefühl“ zu „Belegen“ - Die Debugging-Historie wird zu einem Asset
Warum etwas kaputtging und wie es behoben wurde, wird kumulativ festgehalten
→ verhindert Wiederholungen desselben Problems - Der Maßstab für „Done“ wird klarer
Korrektur ≠ abgeschlossen
Erst nach der Verifizierung ist es wirklich abgeschlossen
Interessant ist, dass das kein neues Test-Framework
und auch kein komplexes Tool ist.
Es ist einfach
der Ansatz, „den Entwicklungsprozess allein dadurch zu verändern, dass man die Art der Beschreibung erzwingt“.
Je mehr AI-Coding zum Alltag wird,
desto eher könnte so ein „verifizierungszentrierter Workflow“ zum Standard werden.
Noch keine Kommentare.