Arch – Intelligentes Prompt-Gateway

• Eine intelligente Layer-7-Gateway-Lösung zum Schutz, zur Beobachtung und zur Personalisierung von LLM-Anwendungen (Agenten, Assistenten, Copilots), die LLMs durch Integration in die APIs der Nutzer optimiert
• Verwaltet wichtige Aufgaben rund um die Prompt-Verarbeitung und erkennt sowie blockiert Jailbreak-Versuche
• Verarbeitet Anfragen durch den Aufruf von Backend-APIs passend zum Prompt
• Bietet intelligentes Routing zwischen Upstream-LLMs und Disaster Recovery
• Ermöglicht die zentrale Beobachtung und Verwaltung von Prompts und LLM-Interaktionen

Hauptfunktionen

• Auf Envoy-Basis: Auf Envoy Proxy aufgebaut, verwaltet es ein- und ausgehenden Prompt-Traffic ähnlich wie HTTP-Anfragen und bietet skalierbare LLM-Verarbeitungsfunktionen.
• Function Calling: Unterstützt Agenten-Apps und RAG-Apps über ein LLM, das für schnelle und kosteneffiziente Aufgaben wie API-Aufrufe oder die Extraktion von Parametern aus Prompts ausgelegt ist.
• Prompt Guard: Verwaltet zentral Prompt-Sicherheitsmechanismen, die ohne zusätzlichen Code Jailbreak-Versuche verhindern und sichere Nutzerinteraktionen gewährleisten.
• Traffic-Management: Wiederholt LLM-Aufrufe intelligent und schaltet Verbindungen automatisch um, um die kontinuierliche Verfügbarkeit von Upstream-Verbindungen sicherzustellen.
• Standardbasierte Observability: Verwendet den W3C-Trace-Context-Standard, um End-to-End-Request-Tracking über Anwendungen hinweg zu ermöglichen, und hilft mit Metriken wie Latenz, Token-Nutzung und Fehlerrate bei der Optimierung der Performance von AI-Anwendungen.