tiktoken
OpenAI:s BPE-tokeniserare, skriven i Rust med Python-bindningar. Verktyget man använder för att veta vad ett anrop kommer att kosta innan man skickar det.
Biblioteket släpptes 2022 och blev snabbt standardsvaret på frågan "hur många tokens är det här", eftersom det är ordningar snabbare än de rena Python-implementationerna och ger exakt samma resultat som modellen ser. Varje modellfamilj har sin kodning: cl100k_base för GPT-3.5 och GPT-4, o200k_base för de senare. Att kunna räkna i förväg spelar roll av två skäl — fakturan går på tokens, och ett anrop som spränger kontextfönstret avvisas istället för att trunkeras snällt. Notera att tokeniseringen är modellspecifik: siffror från tiktoken säger ingenting om vad en Claude- eller Llama-tokeniserare gör av samma text.