11 Punkte von GN⁺ 2024-06-24 | 2 Kommentare | Auf WhatsApp teilen
  • Llama.ttf ist eine Schriftdatei und zugleich ein Large Language Model (LLM) samt Inferenz-Engine
  • Harfbuzz, die in Firefox/Chrome verwendete Font-Shaping-Engine, kann über den Wasm-Shaper Text mit beliebigem Code „shapen“
    • Dieser „beliebige“ Code kann eine vollständige LLM-Inferenz-Engine mit trainierten Parametern sein, die z. B. ein LLM initialisiert und zur Textgenerierung verwendet
    • Hier wurde ein LLM namens Llama verwendet, daher der Name llama.ttf
  • Das heißt: In Harfbuzz-basierten Anwendungen mit aktiviertem Wasm kann man diese Schriftart verwenden, um ein LLM auszuführen und u. a. Text zu generieren
    • Man muss nicht darauf warten, dass ein Anbieter Funktionen wie „Copilot“ implementiert; alles läuft lokal
    • Mit dieser Schriftart kann man sogar mit der Schrift chatten
  • Verwendung:
    • Die Datei llama.ttf herunterladen und wie jede andere Schriftart verwenden
    • Harfbuzz mit Dwasm=enabled bauen, wasm-micro-runtime kompilieren, die resultierende Shared Library zur Umgebungsvariable LD_PRELOAD hinzufügen und dann Harfbuzz-basierte Anwendungen wie gedit oder GIMP starten
  • Vorgestellt werden auch weitere interessante Experimente mit Schriftarten und LLMs

Meinung von GN⁺

  • llama.ttf ist ein innovativer Ansatz, um LLMs über eine Schriftdatei auszuführen.
  • Da alles lokal läuft, bietet es Vorteile bei Datenschutz und Performance.
  • Da Verständnis von Harfbuzz und Wasm nötig ist, könnte es für Einsteiger etwas schwierig sein.

2 Kommentare

 
qyurila 2024-06-25

Im Haupttext steht unter der Überschrift „Why?“ gar nichts 🤣

 
GN⁺ 2024-06-24
Hacker-News-Kommentare
  • Die Meinung, dass es schön wäre, wenn es eine wöchentliche TV-Sendung mit seltsamen und unterhaltsamen Inhalten gäbe.
  • Vorstellung eines Projekts, das – ähnlich wie bei Tetris als Font – ein LLM und eine Inference-Engine in einen Font einbettet, damit man damit chatten oder Texte schreiben kann.
  • Der Hinweis, dass das Projekt zwar cool sei, aber die TTF-Datei 280 GB groß ist und es Kompatibilitätsprobleme mit anderen Fonts gibt.
  • Teilen eines Links zu einer Website, die ein Spiel in einen Font eingebettet hat.
  • Die Erklärung, dass die Harfbuzz-Engine mit einem Wasm-Shaper die Funktion bereitstellt, Text zu „formen“.
  • Ein Hinweis darauf, dass die Arbeit im Archiv gespeichert wurde, verbunden mit einem Dankeschön.
  • Die Meinung, dass es schön wäre, Harfbuzz und wasm-micro-runtime zu bauen und sie der Umgebungsvariable LD_PRELOAD hinzuzufügen, um die Demo leicht ausführen zu können.
  • Die bewundernde Bemerkung, dass man sich nie eine Zukunft vorgestellt habe, in der PDFs Gespräche führen können.
  • Die Meinung, dass dies das Coolste sei, was man diese Woche gesehen habe.
  • Die Frage, warum der Font immer denselben String erzeugt und ob ein LLM nicht neue „Schlussfolgerungen“ erzeugen sollte.
  • Die Meinung, dass man neugierig sei, ob es möglich wäre, dass ein Font automatisch Textstile erzeugt.