Gibt es Tools oder Projekte, die bei der Nutzung von AI alle systemseitig sichtbaren Aktivitäten protokollieren können, etwa Eingaben und Ausgaben sowie Prozessaktivitäten wie Websuche, Ausführungsrechte oder tatsächliche Ausführungen – sei es als lokal installierbare Lösung oder mit Web-UI?
Auch Teillösungen wären willkommen, ebenso kommerzielle Services.
Nehmen wir zum Beispiel Claude Code: Man startet Claude im cmd, und danach werden Eingaben und Ausgaben sowie die Aufgaben protokolliert, die der laufende Claude-Prozess ausgeführt hat (Netzwerkaktivitäten, lokale Aktionen usw.) ...
10 Kommentare
Ich bin mir nicht sicher, ob das genau das ist, was Sie suchen, aber für Model-Tracking gibt es das Open-Source-Projekt https://langfuse.com/ .
Ich weiß nicht, ob ich hier einen Kommentar zu meinem eigenen Projekt hinterlassen darf, aber ich dachte, es könnte hilfreich sein, falls Sie nach genau so einem Tool suchen, deshalb schreibe ich diesen Kommentar. (Falls das nicht erlaubt ist, tut es mir leid.)
Es überwacht zwar nicht sämtliche Aktivitäten einer AI, aber ich entwickle einen Service, der protokolliert, worauf sich ein System bezieht und wie eine bestimmte Antwort zustande kommt. Das Projekt ist aus einem einfachen Semantic Hub hervorgegangen. Auf Basis eines Merkle-Baums werden Hashes in einem externen Ledger gespeichert, und über rekor wird ein Witness angewendet, um Manipulationen und Fälschungen zu verhindern.
Bei Nicht-LLM-Modellen mit geringer Parameterzahl kann zudem zkml eingesetzt werden, um auch die Konsistenz zwischen Eingabe und erzeugter Antwort zu prüfen.
Wenn Sie das unten verlinkte Demo-Audit-Log in den Log-Proof-Validator unten auf der Startseite einfügen, können Sie sehen, was sich damit überprüfen lässt.
Seite: https://hub.rawctx.dev/
Demo-Audit-Log: https://github.com/pasar6987-create/rawctx-demo-audit-log/…
Wenn man die Frage selbst in Gemini eingibt, werden einige angezeigt. Haben Sie schon auf diese Weise danach gesucht?
Auch wenn ich vielleicht über das Ziel hinausschieße, habe ich den Eindruck, dass solche Kommentare die Atmosphäre in der Community negativ beeinflussen.
Ich finde es gut, wenn man Fragen frei stellen kann, wenn man etwas wissen möchte,
aber dieses „Such doch selbst“
kommt besonders unpassend, zumal viele schon von AI slop ermüdet sind und es daher erst recht keine gute Idee ist, sich auf LLM-Antworten zu verlassen..
Vielleicht möchten Sie lieber die Antworten von Community-Mitgliedern hören als die von Gemini. Ich halte das für eine legitime Frage.
Ich habe es mit clickstack aufgebaut. Über die OTEL-Konfiguration wird es dorthin geschickt.
Sind das nicht die Funktionen, die von Litellm Proxy und LangSmith bereitgestellt werden?
Meinst du Argos oder Cursor Mafia? Es gibt einen Service, der von jemandem betrieben wird, der früher Entwickler bei Toss war und jetzt Vibe Coding macht; Self-Hosting ist auch möglich, und man kann mehrere Accounts über API-Schlüssel oder Tarife überwachen. Es scheint dort die Funktionen zu geben, die du erwähnt hast, etwa wie viele Sessions gelaufen sind, welche Tools verwendet wurden usw.
Ich erinnere mich nicht mehr genau, ob es nur mit Claude funktionierte, aber wenn du etwas Maßgeschneidertes bauen willst, könnte es sich lohnen, es einmal genauer auseinanderzunehmen.
Wenn es um Claude Code geht, probieren Sie einmal cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) aus.
Claude Code protokolliert pro Sitzung im Transcript (
.jsonl) alle Inputs/Outputs und Tool-Aufrufe (Dateien lesen, schreiben, Bash ausführen, Web-Anfragen usw.); cc-token-saver parst das und visualisiert in einem HTML-Dashboard für jede Sitzung, was gemacht wurde und wo wie viele Tokens verbraucht wurden. Sie können also auf einen Blick sehen, „welche Dateien die AI in dieser Sitzung angefasst hat, wie oft Befehle ausgeführt wurden und wie hoch die Kosten waren“.Besonders die
/continue-Funktion stellt durch Analyse des Transcripts bestehende Sitzungen wieder her; da sich dieselbe Transcript-Analysefunktion ebenfalls nutzen lässt, können Sie auch so etwas anweisen wie:Analysiere für den Fall "/continue ~" Input, Output und Netzwerkinformationen.(Das LLM passt das dann selbstständig passend an und wendet es an.)Nicht nur für KI – man kann einfach
straceoder verschiedene Debugging-Tools verwenden.Wenn Sie es auf Service-Niveau sauber aufbauen wollen, sollten Sie sich eBPF-basierte Tools ansehen.