Lanarky - Open-Source-Framework für die Bereitstellung von LLMs in Produktion
(github.com/ajndkr)- Auf FastAPI basierend
- Multi-Mode-Token-Streaming
- Einfacher gradio-Chatbot für schnelles Prototyping
- Unterstützung für LangChain-Anwendungen
- Mehrere LLM-Caching-Strategien
- Geplant: Unterstützung für LlamaIndex, Guidance, Rebuff sowie Anbindung an SQL-Datenbanken
Noch keine Kommentare.