Gibt es Tools oder Projekte, die bei der Nutzung von AI alle systemseitig sichtbaren Aktivitäten protokollieren können, etwa Eingaben und Ausgaben sowie Prozessaktivitäten wie Websuche, Ausführungsrechte oder tatsächliche Ausführungen – sei es als lokal installierbare Lösung oder mit Web-UI?
Auch Teillösungen wären willkommen, ebenso kommerzielle Services.
Nehmen wir zum Beispiel Claude Code: Man startet Claude im cmd, und danach werden Eingaben und Ausgaben sowie die Aufgaben protokolliert, die der laufende Claude-Prozess ausgeführt hat (Netzwerkaktivitäten, lokale Aktionen usw.) ...
7 Kommentare
Ich habe es mit clickstack aufgebaut. Über die OTEL-Konfiguration wird es dorthin geschickt.
Sind das nicht die Funktionen, die von Litellm Proxy und LangSmith bereitgestellt werden?
Meinst du Argos oder Cursor Mafia? Es gibt einen Service, der von jemandem betrieben wird, der früher Entwickler bei Toss war und jetzt Vibe Coding macht; Self-Hosting ist auch möglich, und man kann mehrere Accounts über API-Schlüssel oder Tarife überwachen. Es scheint dort die Funktionen zu geben, die du erwähnt hast, etwa wie viele Sessions gelaufen sind, welche Tools verwendet wurden usw.
Ich erinnere mich nicht mehr genau, ob es nur mit Claude funktionierte, aber wenn du etwas Maßgeschneidertes bauen willst, könnte es sich lohnen, es einmal genauer auseinanderzunehmen.
Wenn es um Claude Code geht, probieren Sie einmal cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) aus.
Claude Code protokolliert pro Sitzung im Transcript (
.jsonl) alle Inputs/Outputs und Tool-Aufrufe (Dateien lesen, schreiben, Bash ausführen, Web-Anfragen usw.); cc-token-saver parst das und visualisiert in einem HTML-Dashboard für jede Sitzung, was gemacht wurde und wo wie viele Tokens verbraucht wurden. Sie können also auf einen Blick sehen, „welche Dateien die AI in dieser Sitzung angefasst hat, wie oft Befehle ausgeführt wurden und wie hoch die Kosten waren“.Besonders die
/continue-Funktion stellt durch Analyse des Transcripts bestehende Sitzungen wieder her; da sich dieselbe Transcript-Analysefunktion ebenfalls nutzen lässt, können Sie auch so etwas anweisen wie:Analysiere für den Fall "/continue ~" Input, Output und Netzwerkinformationen.(Das LLM passt das dann selbstständig passend an und wendet es an.)Nicht nur für KI – man kann einfach
straceoder verschiedene Debugging-Tools verwenden.Wenn Sie es auf Service-Niveau sauber aufbauen wollen, sollten Sie sich eBPF-basierte Tools ansehen.
Wenn man die Frage selbst in Gemini eingibt, werden einige angezeigt. Haben Sie schon auf diese Weise danach gesucht?
Vielleicht möchten Sie lieber die Antworten von Community-Mitgliedern hören als die von Gemini. Ich halte das für eine legitime Frage.