KubeAI – Private AI auf Kubernetes betreiben

• Bereitstellung einer mit OpenAI kompatiblen HTTP-API
• Automatische Skalierung auf Basis der Last
• Open-Source-LLMs können CPU-/GPU-basiert bereitgestellt werden
• Keine Abhängigkeiten (Istio, Knative usw.)
• Integrierte Chat-UI