- Unterstützt das einfache Ausführen von LLMs auf den meisten Computern ohne Installation – mit nur einer Datei
- Ein Framework, das
llama.cpp und Cosmopolitan Libc kombiniert
- Ein Build kann auf mehreren Betriebssystemen und verschiedenen CPU-Architekturen ausgeführt werden
- Stellt das multimodale Modell LLaVA mit Chat- und Bilderkennung als Beispiel bereit
- Einfach die 4-GB-Datei
llava-v1.5-7b-q4-server.llamafile herunterladen und ausführen
- Unter Mac/Linux/BSD einfach
chmod +x ausführen und direkt starten
- Unter Windows einfach
.exe an die Erweiterung anhängen und direkt ausführen
- Nach dem Start öffnet sich automatisch der Browser und zeigt die Chat-Oberfläche an
- Außerdem sind weitere llamafiles wie Mistral-7B-Instruct und WizardCoder-Python-13B verfügbar
4 Kommentare
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileIch bin total überrascht, dass es mit einem einzigen
curl-Befehl sofort ausführbar ist..Wow, das ist ja der Hammer hahaha
Das lässt sich wirklich ganz einfach ausführen.
Es war bereits auf GN⁺, aber vielleicht war es nicht beliebt, weil die Vorstellung durch die KI-Zusammenfassung nicht ausreichend war, daher habe ich es noch einmal zusammengefasst. Ich denke, das ist ein ziemlich interessanter Versuch.
Mit „Llamafile“ lassen sich LLMs als einzelne Datei verteilen und ausführen
Das Basismodell ist LLaVA: Visual Instruction Tuning
Bei der Veröffentlichung wirkte Cosmopolitan und RedBean noch eher verspielt, aber so lassen sie sich also auch einsetzen. Das scheint ein wirklich hervorragender Anwendungsfall zu sein.