- Eine kleine Codebasis, mit der sich PyTorch-LLMs lokal ausführen lassen (Server, Desktop, Mobilgeräte)
- Ausführung von LLMs in eigenen (C/C++)-Anwendungen (Desktop oder Server) sowie auf iOS und Android mit Python
- Kommandozeilen-Interaktion mit beliebten LLMs wie Llama 3/2, Mistral usw.
- Unterstützung für gängige Hardware und Betriebssysteme: Linux (x86), Mac OS (M1/M2/M3), Android (XNNPACK-unterstützte Geräte), iOS 17+ (iPhone 13 Pro+)
- Verschiedene Datentypen: float32, float16, bfloat16
- Unterstützung für verschiedene Quantisierungsschemata
- Mehrere Ausführungsmodi: Python (Eager, kompiliert) oder nativ (AOT Inductor (AOTI), ExecuTorch)
Noch keine Kommentare.