OpenLLM - Eine offene Plattform für den Betrieb von LLMs in der Produktion
(github.com/bentoml)- Unterstützt verschiedene Arten von LLMs für Inferenz und Deployment
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- Serviert LLMs mit einem einzigen Befehl als RESTful API oder über gRPC
- Aufrufbar über WebUI, CLI, Python-/Javascript-Client oder jeden HTTP-Client
- Integrierte Unterstützung für LangChain, BentoML und HuggingFace
- Unterstützung für LLM-Feintuning ist geplant
Noch keine Kommentare.