rtk – CLI-Proxy, der den LLM-Tokenverbrauch um 60–90 % senkt

 (github.com/rtk-ai)
38 Punkte von xguru 24 일 전 | 9 Kommentare | Auf WhatsApp teilen
  • Eine einzelne Rust-Binärdatei (Windows/macOS/Linux), die die Ausgabe von CLI-Befehlen aus AI-Coding-Tools filtert und komprimiert, bevor sie an ein LLM weitergegeben wird, und so 60–90 % der Tokens einspart
  • Unterstützt mehr als 100 Befehle wie git, grep, ls und cargo test und wendet vier Strategien an, bevor die Befehlsausgabe in den LLM-Kontext gelangt: intelligentes Filtern, Gruppieren, Trunkieren und Deduplizieren
  • Unterstützt 10 AI-Coding-Tools wie Claude Code, Codex, Cursor, Gemini CLI; bei installierten Hooks werden Bash-Befehle automatisch transparent in den entsprechenden rtk-Befehl umgeschrieben
    • Dieser Hook gilt nur für Bash-Tool-Aufrufe; die integrierten Tools von Claude Code wie Read, Grep, Glob usw. umgehen dieses Hooking, daher müssen für RTK-Filterung Shell-Befehle oder explizite rtk-Befehle verwendet werden
  • Für eine 30-minütige Claude-Code-Sitzung wird eine Einsparung von ~23.900 Tokens (ca. 80 % weniger) gegenüber dem Standardwert von ~118.000 Tokens angegeben
    • Bei Test-Runnern wie cargo test/npm test, pytest, go test sind Einsparungen von bis zu 90 % möglich
  • Erste Schritte 
    # 1. Installation  
rtk init -g                     # Claude Code / Copilot (default)  
rtk init -g --gemini            # Gemini CLI  
rtk init -g --codex             # Codex (OpenAI)  
rtk init -g --agent cursor      # Cursor  
# 2. Danach das AI-Tool neu starten  
git status  # funktioniert jetzt als rtk git status
  • Apache-2.0-Lizenz

Verwandte Beiträge

9 Kommentare

 
kurthong 23 일 전

Letztlich ist es ein Trade-off mit der Qualität, und ich frage mich auch, ob es am Ende nicht zu einer Struktur wird, bei der man mehr Tokens verbraucht, um die verlorene Qualität wiederherzustellen.
 
ksundong 23 일 전

Ich habe es früher ausprobiert, aber wieder entfernt, weil Claude ständig noch mehr Tokens verbraucht hat, um Probleme zu lösen, die durch rtk verursacht wurden.
(Zum Beispiel erzeugt es bei einer JSON-Anfrage per curl ungültiges JSON, woraufhin jq einen Fehler ausgibt; dann debuggt Claude das, verbrennt dabei Tokens und am Ende holt es sich doch wieder die rohe curl-Anfrage und parst sie mit jq.)
Trotzdem halte ich die Grundidee für einen guten Ansatz, daher könnte es sich lohnen, es zu verwenden, sobald es stabiler geworden ist.
 
moon5g 23 일 전

Ich bin mir nicht sicher, ob es wirklich etwas reduziert. Der Agent sagt mir ständig, ich solle den Befehl rtk ls.. verwenden, macht es dann aber selbst nicht.
 
yowuu 24 일 전

Ich nutze es persönlich auch schon eine Weile ... aber durch die rtk-Komprimierung gibt es wohl auch Fälle, in denen Claude Code den benötigten Kontext nicht aus den Befehlsergebnissen ziehen kann, daher scheint es eher von Fall zu Fall unterschiedlich zu sein.
 
anyjava 23 일 전

Das fand ich an der Stelle auch schade!

Vor Kurzem gab es ein Update: Die vollständige Ausgabe wird jetzt in einer separaten Datei gespeichert, damit das LLM sie bei Bedarf lesen kann~
 
vwjdalsgkv 24 일 전

Es scheint, als gäbe es bei den Anwendungsfällen anderer Nutzer einige Nebenwirkungen.
Ich hoffe, dass diese bald überwunden werden und das Tool dann gut eingesetzt werden kann.
https://reddit.com/r/ClaudeCode/…
 
blacksocks 24 일 전

Wenn das die Nutzung wirklich so stark reduziert, wäre das wirklich großartig!
 
t7vonn 24 일 전

Gute Idee.
Da das Training aber wahrscheinlich auf der Grundlage normaler CLI-Ausgaben erfolgt ist, habe ich etwas die Sorge, ob die Ausgabe bei einer solchen Verdichtung noch genauso gut wie bisher ausfällt.
Ich werde es einmal ausprobieren.
 
cjinzy 24 일 전

Dann muss man wohl einen Vergleich mit contextmode machen.