TypeScript-Implementierung von LLMLingua-2

Ein Open-Source-Projekt, das LLMLingua, den von Microsoft entwickelten „allgemeinen Prompt-Komprimierer auf LLM-Basis“, von Python nach TypeScript portiert, damit es in vielfältigeren Umgebungen eingesetzt werden kann.

Was ist LLMLingua?

• GeekNews: "Microsoft LLMLingua - Prompts komprimieren, um Inferenz zu beschleunigen und Kosten zu senken"
• LLMLingua-2-Website
• Wird derzeit als offizielle Implementierung in der Sprache Python veröffentlicht.

TypeScript-Implementierung von LLMLingua-2

• Prompt-Komprimierungsdemo (GitHub Pages)
  • JavaScript + React + Vite
  • Voraussetzungen zum Ausprobieren der Demo: ein Browser mit WebGPU-Unterstützung erforderlich (z. B. Google Chrome unter Windows/macOS)
• Quellcode: auf GitHub und HuggingFace verfügbar
• Paket (npm): npm install @atjsh/llmlingua-2

Highlights

• Die in Python geschriebene LLMLingua-2-Pipeline wurde in reines TypeScript portiert
• Für die Implementierung verwendete Bibliotheken: js-tiktoken, transformer.js und TensorFlow.js
• Unterstützung für Node.js befindet sich in zusätzlicher Entwicklung (Tests sind schon jetzt möglich)
• Open Source unter MIT-Lizenz

Noch in einem sehr frühen Stadium

• Einige Funktionen wie use_context_level_filter und return_word_label sind noch nicht implementiert
• Sogar bei der zentralen Prompt-Komprimierungsfunktion könnte es im Vergleich zum ursprünglichen LLMLingua-2 fehlerhaft implementierte Teile geben...