llama-tokenizer-js – LLaMA-Tokenizer, der im Browser ausgeführt wird
(github.com/belladoreai)- Kann verwendet werden, um clientseitig Tokens präzise zu berechnen
- Lässt sich dank einer einzigen Datei ganz ohne Abhängigkeiten einfach verwenden
- Kompatibel mit den meisten LLaMA-basierten Modellen
- Kann etwa 2.000 Tokens in unter 20 ms tokenisieren
Noch keine Kommentare.