GGML und llama.cpp stoßen zu Hugging Face

Hugging Face hat den zentralen Entwickler von llama.cpp und der GGML-Engine, Georgi Gerganov, übernommen.

Wichtigste Punkte: Mit llama.cpp (der De-facto-Standard-Engine für die lokale Ausführung von LLMs) und der auf GGML basierenden Technologie unter dem Dach von Hugging Face werden zwei tragende Säulen des Open-Source-Ökosystems für lokale KI in einer Einheit zusammengeführt.
llama.cpp bleibt weiterhin zu 100 % Open Source und wird mit Fokus auf Performance weitergeführt.

Erwartete wichtigste Änderungen:

• Modelle im GGUF-Format werden in der transformers-Bibliothek mit automatischer Konvertierung und Unterstützung auf One-Click-Niveau verfügbar
• Neue Modelle können sofort lokal mit hoher Performance ausgeführt werden, ohne manuelle Optimierung
• Deutliche Verbesserung der Ausrichtung bei lokalen KI-Tools und der Nutzerumgebung

Bedeutung: Die Infrastruktur, mit der Einzelpersonen und Unternehmen hochwertige LLMs lokal und ohne Abhängigkeit von zentralen Servern frei betreiben können, wird weiter gestärkt.