Basaran – die Open-Source-Alternative zur OpenAI Text Completion API

• Bietet eine mit OpenAI kompatible Streaming-API für Textgenerierungsmodelle auf Basis von Hugging Face Transformers
  • Dadurch lassen sich andere LLMs ähnlich wie der OpenAI-Dienst nutzen
• Streaming-Generierung mit verschiedenen Decoding-Strategien möglich
• Unterstützt sowohl Decoder-only- als auch Encoder-Decoder-Modelle
• Detokenizer mit Unterstützung für Surrogates und Whitespace
• Quantization-Optionen verfügbar, Multi-GPU-Unterstützung
• Echtzeit-Fortschrittsanzeige mit SSE (Server-Sent Events)