- Ein plattformübergreifendes CLI-Tool, das für verschiedene LLM-Anbieter/Modelle wie OpenAI, Claude, Gemini und OpenRouter Tokenanzahl und API-Kosten schnell und präzise schätzt
- Unterstützt die Tokenberechnung pro Modell und berechnet die Kosten von API-Aufrufen automatisch auf Basis der jeweiligen Tokenpreise
- Bietet neben einzelnen Prompts auch Funktionen für JSON-Chat-Formate, Token-Breakdowns nach Rollen (system/user/assistant), Token- und Kostenvergleiche zwischen mehreren Modellen, Markdown-Minify, Diff-Modus und Watch-Modus für praxisnahe Workflows
- Mit aktivierter Funktion
load-test arbeitet es als Load-Test-Runner, der für OpenAI, Anthropic, OpenRouter und benutzerdefinierte Endpunkte gleichzeitig Nebenläufigkeit, Latenz, Fehlerrate, Token und Kosten misst
- Mit dem Dry-Run-Modus lassen sich Kosten ohne tatsächliche Aufrufe vorhersagen
- Unterstützt verschiedene Ein- und Ausgabeformate
- Eingabe: Verarbeitet sowohl normalen Text als auch JSON-Chat-Formate und bietet Dateieingabe, Standardeingabe und Prompt-Vergleich (Diff)
- Ausgabe: Unterstützt verschiedene Ausgabeformate wie text/json/csv/Prometheus/markdown
- Über benutzerdefinierte Preisdateien (TOML) kann die Genauigkeit der Kostenschätzung auch bei modellabhängigen Preisänderungen erhalten bleiben
- Dank modularer Struktur mit Tokenizer, Modelldefinitionen, Parser, Ausgabe, HTTP/Providern und Simulatoren ist es für das Hinzufügen neuer Modelle und Provider sowie für die Integration in CI-/Automatisierungspipelines geeignet
Noch keine Kommentare.