liteLLM - Proxy-Server mit Unterstützung für mehr als 50 LLMs
(github.com/BerriAI)- Die
/chat/completion-API kann für verschiedene LLMs wie Azure, OpenAI, Replicate, Anthropic und Hugging Face aufgerufen werden - Einheitliches Input-/Output-Format im OpenAI-Format
- Unterstützt Model-Fallbacks (z. B. Aufruf von llama2, wenn GPT-4 fehlschlägt)
- Unterstützt Logging: Supabase, Posthog, Mixpanel, Sentry, Helicone
- Verfolgt die Token-Nutzung
- Implementiert Semantic Caching
- Unterstützt Streaming und Asynchronität
Noch keine Kommentare.