Web LLM – Unterstützung für Llama2 7B/13B gestartet

 (webllm.mlc.ai)
26 Punkte von xguru 2023-08-30 | 7 Kommentare | Auf WhatsApp teilen
  • Ein Dienst, der LLMs wie Llama, RedPajama und Vicuna ohne Server als WASM im Browser ausführt
  • Unterstützung für Llama 2 7B/13B gestartet
  • Llama 2 70B wird ebenfalls unterstützt, ist aber nur auf Apple-Silicon-Macs mit mindestens 64 GB RAM nutzbar
  • Beschleunigung per WebGPU

Verwandte Beiträge

7 Kommentare

 
freejack 2023-08-31
  • Ich kenne mich mit KI nicht besonders gut aus, habe es aber aus Neugier trotzdem auf einem Low-End-PC getestet. - Erstes Modell der Chat-Demo (PC-Spezifikationen: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
  • Bei der ersten Frage wurden etwa 4 GB heruntergeladen und initialisiert; auf meinem PC dauerte das ungefähr 11 Minuten.
  • Bei jeder Frage wurde die GPU im Schnitt zu mehr als 60 % ausgelastet, und die Antworten kamen so, als würde langsam getippt. (Das war ziemlich frustrierend...)
  • Testweise habe ich die Frage "show me the earth picture" gestellt; es wurde zwar eine NASA-URL ausgegeben, aber das Bild ließ sich nicht anzeigen. (Invalid URL)
  • Koreanische Fragen wurden zwar erkannt, aber die Antworten kamen nur auf Englisch.
 
cosine20 2023-09-06

Da ich nur eine 750Ti habe....
 
laeyoung 2023-08-31

Bei der Ausgabe als URL kommt es selbst bei ChatGPT ziemlich oft zu Fehlern. Vermutlich liegt das einfach daran.
 
kuroneko 2023-08-30

Ich fand es wirklich faszinierend, Stable Diffusion im Web laufen zu sehen,
aber ob WebGPU wirklich die große Vereinheitlichung der GPU-APIs schaffen kann?
 
2023-08-30
[Dieser Kommentar wurde ausgeblendet.]
 
ragingwind 2023-08-30

Erstaunlich.