IPEX-LLM - PyTorch-Bibliothek zum Ausführen von LLMs auf Intel-CPUs/GPUs
(github.com/intel-analytics)- Basierend auf Intel Extension for PyTorch (IPEX)
- Für mehr als 50 Modelle optimiert und verifiziert (LLaMA2, Mistral, Gemma, LLaVa, Whisper usw.)
- Läuft mit niedriger Latenz auf lokalen iGPUs oder verteilten GPUs wie Arc/Flex/Max
- Gute Integration mit llama.cpp, HuggingFace, LangChain, LlamaIndex usw.
Noch keine Kommentare.