Wenn man in einem kleinen Team mehrere AI Agents an einen Produktivdienst anbindet und betreibt,
stößt man immer wieder auf dasselbe Problem.
Wenn ein Agent eine falsche Entscheidung trifft — etwa falschen Code deployt,
eine falsche Antwort gibt oder die falsche Datei ändert —
wie verfolgt und verwaltet ihr dann die Verantwortung dafür?
Wir probieren derzeit aus, für jeden Agent Rollen, Berechtigungen und Grenzen festzulegen und jede Aufgabe mit einem Badge zu versehen,
der zeigt, „wer sie erstellt und wer sie genehmigt hat“.
Aber ich weiß nicht, ob das die richtige Lösung ist.
Ich würde gern diejenigen fragen, die AI Agents bereits an Produktivdienste angebunden haben.
1. Habt ihr eine Methode, Fehler im Nachhinein nachzuverfolgen?
Logs? Badges? Audit Trail? Oder prüft am Ende doch ein Mensch alles?
2. Haltet ihr das Prinzip „AI schlägt vor, der Mensch entscheidet endgültig“ in der Praxis wirklich ein?
Kommt es nicht vor, dass AI-Entscheidungen der Geschwindigkeit zuliebe einfach durchgewinkt werden?
Mich interessiert, wo ihr diesen Kompromiss gefunden habt.
3. Wenn mehrere Agents zusammenarbeiten, wie teilt ihr die Verantwortung für Zwischenergebnisse auf?
Wenn die Reihenfolge Agent A → Agent B → Deployment ist: Wo zieht ihr bei einem Bug die Grenze?
Ich suche nicht die eine richtige Antwort, sondern würde gern hören, wie ihr das jeweils in der Praxis löst.
Wir experimentieren ebenfalls noch damit.
5 Kommentare
Stimmt. „Vorbeugen statt nachverfolgen“ ist in der Praxis realistischer.
Wir gehen in eine ähnliche Richtung.
Wir legen für jeden Agenten explizit fest,
was er tun darf und was nicht —
wenn man den Scope selbst einschränkt, sinkt auch der Aufwand für die nachträgliche Nachverfolgung.
Sie sagten, dass Sie es per CLI begrenzen;
setzen Sie auch dann für jeden Agenten eigene CLI-Beschränkungen,
wenn mehrere Agenten nacheinander Aufgaben ausführen?
Genau an dieser Stelle kommen wir gerade nicht weiter.
Mit der CLI reduziert man den Umfang von Änderungen und Verantwortung. Wenn man es der KI überlässt, bleibt es probabilistisch, daher lassen sich Fehler oder Halluzinationen nicht vermeiden.
Wenn Sie die Nutzung auf die CLI beschränken, würde mich interessieren, ob Sie dabei die CLI-Befehle einschränken, die jeder Agent verwenden darf.
Es scheint, als werde in einer Schleife alle 25 bis 30 Minuten immer wieder ein umfassendes Code-Review versucht und dieses fortlaufend in ein Guardrail-Shell-Skript übernommen.
Das ist ein guter Ansatz. Gibt es vielleicht ein Repo oder Implementierungsbeispiele, an denen Sie sich orientiert haben? Wir denken nämlich in eine ähnliche Richtung.