- Eine Sprache, mit der sich Sprachmodelle effektiver steuern lassen als mit herkömmlichen Prompts.
- Basierend auf Handlebars-Templates können Ausgabestruktur und -weise festgelegt sowie der logische Ablauf gesteuert werden.
- Verwendet Key/Value-Cache innerhalb des Prompts und lässt nur die gewünschten Teile inferieren, um die Inferenzleistung zu verbessern.
- Geht über die bloße Steuerung der Ausgabestruktur hinaus und kann sogar gültige Syntax wie etwa JSON garantieren.
- Unterstützt die einfache Integration mit HuggingFace-Modellen.
3 Kommentare
Auf den ersten Blick wirkt es flexibler und einfacher zu verwenden als LMQL, aber ich würde gern Erfahrungsberichte von Leuten hören, die es tatsächlich genutzt haben.
Sehr nützlich. Eine portierte Version für Node.js wäre wirklich toll.
Im Repository gibt es viele Beispiele, und schon allein diese sind ziemlich interessant.
Besonders für Fälle, in denen strukturierte Ausgaben nötig sind, wirkt der Teil überzeugend, in dem das LLM nicht den gesamten Text, sondern wirklich nur den Inhaltsteil erzeugen lässt, wodurch sich die Inferenzzeit halbiert haben soll.