MiniLLM – Ausführung von LLMs auf einer persönlichen GPU

• Ein minimalistisches System zur Ausführung aktueller LLMs auf Nvidia-GPUs für Endverbraucher
• Unterstützt mehrere LLMs (LLAMA, BLOOM, OPT) mit einer Größe von bis zu 170B
• Unterstützung für verschiedene Arten von Nvidia-GPUs
• Kleiner, benutzerfreundlicher Code in Python
• Verwendet intern den GPTQ-Algorithmus für 3-Bit-Komprimierung, um den GPU-Speicherverbrauch zu minimieren