Web LLM – LLMs im Browser mit WebGPU beschleunigt ausführen

• LLMs wie LLaMA und Vicuna ohne Server im Browser mithilfe von WASM ausführen
• Beschleunigung mit WebGPU, zusätzlich werden auch die von Apache TVM unterstützten GPU-Backends (CUDA, OpenCL, Vulkan) unterstützt
• Verwendet MLC-Technologie (Machine Learning Compilation)