Weave Router – Modell-Router für Agenten, der jeden Prompt an das optimale Modell weiterleitet

 (github.com/workweave)
10 Punkte von xguru 10 일 전 | 4 Kommentare | Auf WhatsApp teilen
  • Drop-in-Proxy, der Anthropic, OpenAI und Gemini über einen einzigen Endpoint bündelt. Wählt für jede Anfrage automatisch das optimale Modell aus
  • Leitet jeden Prompt innerhalb von 50 ms an das richtige Modell weiter; allein durch Ändern des Endpoints sind 40–70 % Kosteneinsparung möglich
  • Bewertet Prompts nicht nach Bauchgefühl („Vibes“), sondern mit einem Cluster-Scorer auf Basis eines on-box Embedders; abgeleitet von Avengers-Pro, trifft er für jeden Turn eine Routing-Entscheidung
  • Unterstützt Anthropic Messages, OpenAI Chat Completions und die native Gemini-API, inklusive Streaming/Tools/Vision
  • OSS-Modelle wie DeepSeek, Kimi, GLM, Qwen, Llama, Mistral sind über OpenRouter (oder OpenAI-kompatible Endpoints) nutzbar
  • BYOK als Standard; Provider-Keys werden lokal verschlüsselt gespeichert
  • OTLP-Traces standardmäßig enthalten; Observability über das Weave-Dashboard, Honeycomb, Datadog, Grafana usw.
  • Ohne Installation mit npx @workweave/router ausführbar und direkt mit Claude Code, Codex, opencode, Cursor verbindbar; unterstützt Umschalten von on/off/status
    • Claude Code wird mit make install-cc verbunden. Stellt die Slash-Commands /router-off, /router-on, /router-status bereit
    • Codex: Führt man npx @workweave/router --codex aus, wird ~/.codex/config.toml gepatcht
    • opencode: Mit npx @workweave/router --opencode wird der gebündelte Provider @ai-sdk/anthropic auf den Router-Endpoint /v1 gesetzt; dank nativer Unterstützung der Anthropic Messages API funktioniert es ohne Änderungen
    • Cursor: Noch in früher Beta, die Performance ist instabil; unter Settings → Models → Override OpenAI Base URL http://localhost:8080/v1 eingeben
  • Elastic License 2.0

Verwandte Beiträge

4 Kommentare

 
nokdu 10 일 전

Ob es wohl keine Cache-Probleme geben wird?
 
shaffr0n 10 일 전

Es dürfte wohl schwierig sein, die von LLM-Diensten bereitgestellte Cache-Schicht zu nutzen.
Wenn die Anbindung über die Nutzung einer API erfolgt, könnten durch Cache-Misses ziemlich hohe Kosten entstehen.
 
wizmasia 10 일 전

Der Teil namens wldnjs ist interessant.
 
xguru 10 일 전

Ich habe es korrigiert.