tiktoken - OpenAIs Tokenizer

• Schneller BPE-Tokenizer (Byte Pair Encoding) für die Verwendung mit OpenAI-Modellen
• 3- bis 6-mal schneller als bestehende Tokenizer (Huggingface)
• Kann über PyPI installiert werden
• Open Source mit Python + Rust