MLC LLM – Open-Source-Lösung, mit der sich LLM-Modelle auf beliebigen Geräten bereitstellen lassen

• Ziel ist es, dass jeder AI-Modelle entwickeln, optimieren und auf beliebigen Geräten bereitstellen kann
• Verwendet MLC (Machine Learning Compilation) und Apache TVM Unity
• Unterstützte Plattformen
  • iPhone/iPad/Android
  • Metal-GPU und Intel-&-ARM-MacBooks
  • AMD/Intel- und NVidia-GPUs (Vulkan unter Windows/Linux)
  • NVidia-GPUs (CUDA unter Windows/Linux)
  • WebGPU im Browser

[carnoxen]

Cross-Platform ist offenbar in vielerlei Hinsicht beliebt.