GoModel – Hochperformantes AI-Gateway in Go

• Ein leichtgewichtiges AI-Gateway ähnlich wie LiteLLM; als einzelnes Go-Binary sind Container-Images klein und Cold Starts schnell
• Integriert 11 Provider wie OpenAI, Anthropic, Gemini, Groq und xAI über eine einzige OpenAI-kompatible API
• In einem einzelnen Docker-Container sofort nutzbar, wenn nur die API-Keys als Umgebungsvariablen übergeben werden; automatische Provider-Erkennung inklusive
• Unterstützt sämtliche OpenAI-API-Endpunkte wie /v1/chat/completions (Streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches usw.
• Bietet zusätzlich /p/{provider}/... für nativen API-Passthrough, sodass Upstream-Antworten unverändert weitergegeben werden (auch für Funktionen, die das Gateway nicht unterstützt)
• Integrierter zweistufiger Response-Cache
  • Layer 1: Exact-Match-Cache auf Basis eines Request-Body-Hashes (Abruf im Submillisekundenbereich)
  • Layer 2: Semantischer Cache auf Basis von Embedding-Vektoren und KNN-Suche (60–70 % Trefferquote bei stark repetitiven Workloads)
  • Unterstützt Qdrant, pgvector, Pinecone und Weaviate als Vektor-Backends
• Integriertes Verwaltungs-Dashboard-UI zur Einsicht in Token-Nutzung, Kostenverfolgung, Audit-Logs, Provider-Status, Modell-Overrides usw.
• Integrierte Observability-Funktionen wie Prometheus-Metriken, Audit-Logging und Guardrail-Pipelines (jeweils per Umgebungsvariable aktivierbar)
• API-Authentifizierung über GOMODEL_MASTER_KEY; als Storage-Backends stehen SQLite, PostgreSQL und MongoDB zur Auswahl
• Unterstützt auch die Registrierung mehrerer Instanzen desselben Providers über Umgebungsvariablen mit Suffix (z. B. OPENAI_EAST_API_KEY)
• Als Storage-Backend wählbar: SQLite (Standard), PostgreSQL oder MongoDB; dadurch sofort einsetzbar für kleine Deployments und per einfachem DB-Wechsel auf größere Umgebungen skalierbar
• Roadmap für 0.2.0: intelligentes Routing, Hinzufügen von DeepSeek V3 und Cohere, Budgetverwaltung pro user_path, Cluster-Modus u. a.
• MIT-Lizenz

[xguru]

Für Unternehmen, die die Einführung von LiteLLM planen, könnte es sich lohnen, es einmal als leichtgewichtige Alternative in Betracht zu ziehen.

Da das auf Python basierende LiteLLM früher einmal von einem Supply-Chain-Angriff betroffen war, gibt es auch den Effekt, dass Go im Vergleich etwas sicherer wirkt.