Cafe24 veröffentlicht LLM Router

• Eine integrierte LLM-Infrastruktur, mit der sich mehr als 100 Modelle wie Claude, Gemini, Qwen, Llama und DeepSeek über einen einzigen Endpoint aufrufen lassen
• Bietet eine OpenAI-kompatible Single API, sodass keine getrennte Einarbeitung und Pflege unterschiedlicher API-Spezifikationen, Retry-Logiken und Streaming-Formate pro Provider nötig ist
• Auto Router analysiert Prompts, erkennt Typen wie Coding, Reasoning, Übersetzung oder kreative Aufgaben und wählt automatisch das kostenoptimalste Modell
  • Beispiel: "Erstelle React-Infinite-Scroll-Code" → Coding erkannt → claude-sonnet-4-6
• Mit Auto Fallback wird bei Störungen oder Timeouts sofort auf einen vordefinierten Ausweichpfad umgeschaltet; fehlgeschlagene Aufrufe werden nicht berechnet (ZCI)
  • Beispiel: qwen3-72b → llama-3.3-70b → deepseek-v3
• Mit Provider Routing lassen sich Provider-Prioritäten nach Kosten, Geschwindigkeit und Durchsatz festlegen
• Im BYOK-Modus (Bring Your Own Key) können vorhandene OpenAI-/Anthropic-/Google-Keys unverändert registriert werden, um die Kosten direkt zu kontrollieren
• Mit Semantic Cache werden ähnliche Anfragen übersprungen, ohne das LLM überhaupt aufzurufen; das senkt die Token-Kosten, Antworten kommen in Millisekunden zurück
• Mit der Preset-Funktion lassen sich Primärmodell, System Prompt, Sampling und mehrstufige Fallback-Ketten gebündelt speichern; der Aufruf bleibt eine Zeile, Anpassungen erfolgen in der Konsole, ganz ohne Code-Redeployment
• Datenschutz & Governance unterstützen automatisches Maskieren sensibler Informationen (PII) in Logs und an Modelle übermittelten Daten
• Im Realtime Dashboard lassen sich Anfragen, Kosten- und Token-Trends, Kostenanteile pro Modell, Erfolgs-/Fehlerquoten sowie detaillierte Logs pro Anfrage prüfen
• Im Playground können Antwortqualität, Geschwindigkeit und Kosten verschiedener Modelle ohne Code sofort verglichen werden
• Nutzungsbasierte Credit-Abrechnung ohne Vertragsbindung oder Abo, 0 Won monatliche Grundgebühr, kostenlose Credits direkt nach der Registrierung sowie Unterstützung für wonbasierte Abrechnung und Steuerrechnungen