tiktoken
De BPE-tokenizer van OpenAI, geschreven in Rust met Python-bindings. Het gereedschap om vooraf uit te rekenen wat een aanroep kost.
De bibliotheek verscheen in 2022 en werd snel het standaardantwoord op "hoeveel tokens is dit", omdat ze ordes van grootte sneller is dan pure Python-implementaties en precies produceert wat het model te zien krijgt. Elke modelfamilie heeft een eigen encoding: cl100k_base voor GPT-3.5 en GPT-4, o200k_base voor de latere modellen. Vooraf tellen is om twee redenen nuttig: de factuur wordt in tokens uitgedrukt, en een aanroep die het contextvenster overschrijdt wordt geweigerd in plaats van netjes afgekapt. Tokenisatie is bovendien modelspecifiek: een getal uit tiktoken zegt niets over wat de tokenizer van Claude of Llama met dezelfde tekst doet.