- Llama.ttf ist eine Schriftdatei und zugleich ein Large Language Model (LLM) samt Inferenz-Engine
- Harfbuzz, die in Firefox/Chrome verwendete Font-Shaping-Engine, kann über den Wasm-Shaper Text mit beliebigem Code „shapen“
- Dieser „beliebige“ Code kann eine vollständige LLM-Inferenz-Engine mit trainierten Parametern sein, die z. B. ein LLM initialisiert und zur Textgenerierung verwendet
- Hier wurde ein LLM namens Llama verwendet, daher der Name llama.ttf
- Das heißt: In Harfbuzz-basierten Anwendungen mit aktiviertem Wasm kann man diese Schriftart verwenden, um ein LLM auszuführen und u. a. Text zu generieren
- Man muss nicht darauf warten, dass ein Anbieter Funktionen wie „Copilot“ implementiert; alles läuft lokal
- Mit dieser Schriftart kann man sogar mit der Schrift chatten
- Verwendung:
- Die Datei
llama.ttf herunterladen und wie jede andere Schriftart verwenden
- Harfbuzz mit
Dwasm=enabled bauen, wasm-micro-runtime kompilieren, die resultierende Shared Library zur Umgebungsvariable LD_PRELOAD hinzufügen und dann Harfbuzz-basierte Anwendungen wie gedit oder GIMP starten
- Vorgestellt werden auch weitere interessante Experimente mit Schriftarten und LLMs
Meinung von GN⁺
- llama.ttf ist ein innovativer Ansatz, um LLMs über eine Schriftdatei auszuführen.
- Da alles lokal läuft, bietet es Vorteile bei Datenschutz und Performance.
- Da Verständnis von Harfbuzz und Wasm nötig ist, könnte es für Einsteiger etwas schwierig sein.
2 Kommentare
Im Haupttext steht unter der Überschrift „Why?“ gar nichts 🤣
Hacker-News-Kommentare
LD_PRELOADhinzuzufügen, um die Demo leicht ausführen zu können.