Portkey AI Gateway – Über 100 LLMs mit einer einzigen API nutzen

• Als Schnittstelle zwischen App und LLM können alle LLMs über eine einheitliche API aufgerufen werden
  • OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini usw.
• Sehr schnell (9,9x) und mit geringem Footprint (~45 KB)
• Load Balancing zwischen mehreren Modellen/Providern/Keys möglich
• Unterstützt den stabilen Betrieb von Apps durch Fallbacks und automatische Wiederholungsversuche

[ragingwind]

Wenn es gut funktioniert, wäre es nützlich.

[vrv18]

Ich bin einer der Maintainer – ich freue mich auf das Feedback der Community!