Alpaca.cpp – ChatGPT-ähnliche Modelle auf einem persönlichen Notebook ausführen

• Eine angepasste Kombination aus LLaMA, Alpaca und llama.cpp, ergänzt um eine Chat-Oberfläche
• Verwendet das Modell Alpaca-7b-q4
• Erzeugt selbst auf einem M2 MacBook Air mit recht hoher Geschwindigkeit

[readiz]

https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/…

Ich dachte, es gibt vielleicht Leute, die nach dem Modell suchen..

[draupnir]

Heutzutage fühlt es sich wirklich an wie ein Krieg, bei all den Nachrichten noch hinterherzukommen, krass.

[pugh123]

Wow – es fühlt sich wirklich so an, als wäre die Singularität angekommen....

[daumkakao]

Ziemlich krass, wow, und Apple Silicon ist inzwischen offenbar zum Standard bei den Hardware-Spezifikationen geworden, wow.

[ffdd270]

Bei dieser Geschwindigkeit steht es dem ChatGPT-Turbo-Modell in nichts nach. Das ist wirklich erstaunlich.

[xguru]

Ach, im Moment prasselt wirklich jeden Tag etwas Neues herein.

Der Stable-Diffusion-Moment kommt für LLMs