LLaMA-rs – LLaMA in Rust implementiert

• Ein Projekt, das llama.cpp nach Rust portiert
• Unterstützt Modelle in f16 oder 4-Bit-quantisierter Version
• Nutzt wie das Original unverändert die Tensor-Bibliothek ggml und erreicht dadurch die gleiche Performance wie das Original

[xguru]

Es gibt auch eine Rust-Implementierung von LLaMA: RLLaMA - Rust+OpenCL+AVX2.

llama.cpp - Inferenz des LLaMA-Modells von Facebook in reinem C/C++