- LLMs (Large Language Models) lassen sich in natürlicher Sprache abfragen, aber manchmal verstehen sie die menschliche Absicht nicht exakt
- Forschende des SRIlab (Secure, Reliable, and Intelligent Systems Lab) an der ETH Zürich haben zur Lösung dieses Problems das Konzept des LMP (Language Model Programming) vorgestellt
- Die Sprache und Plattform, die dieses LMP-Konzept umsetzt, ist LMQL (Language Model Query Language)
- Deklarative Syntax ähnlich wie bei SQL
- Gibt den Ausgaben von LLMs klare Einschränkungen vor und steuert so die Arbeitsweise, damit keine unerwarteten Ergebnisse entstehen
- In Python implementiert, sodass sich in AI-Abfragen Python-Funktionen und Kontrollfluss verwenden lassen
- Unterstützt GPT-4 über die OpenAI API sowie lokal gehostete Transformer-Modelle
- Spart verbrauchte Tokens und kann dadurch die Kosten für kostenpflichtige APIs um 26–85 % senken
- Paper: https://doi.org/10.48550/arXiv.2212.06094
- Dokumentation: https://docs.lmql.ai/
- Playground: https://lmql.ai/playground
- GitHub: https://github.com/eth-sri/lmql
Noch keine Kommentare.