Dalai – Der einfachste Weg, LLaMA auf deinem Computer auszuführen

• Das LLaMA-7B-Modell lässt sich lokal mit nur 2 Zeilen ausführen
  npx dalai llama
npx dalai serve
• llama.cpp + llama-dl CDN
• Integrierte hackbare Web-App (einschließlich JavaScript-API und Socket.io-API)
  • Zugriff über localhost:3000

[ragingwind]

Sobald eins auftaucht, kommt gleich eine ganze Reihe weiterer nach, wie bei einer endlosen Süßkartoffelranke.

[xguru]

Dalai Lama, wirklich ... was für ein Namensgefühl ...
llama.cpp - Inferenz des LLaMA-Modells von Facebook in reinem C/C++