tiktoken
Tokenizer BPE od OpenAI, napisany w Ruście z wiązaniami do Pythona. Narzędzie, po które sięgasz, żeby przed wysłaniem zapytania sprawdzić, ile ono kosztuje.
Biblioteka ukazała się w 2022 roku i szybko stała się standardową odpowiedzią na pytanie „ile to tokenów”, bo jest o rzędy wielkości szybsza od implementacji w czystym Pythonie i daje dokładnie to, co widzi model. Każda rodzina modeli ma swoje kodowanie: cl100k_base dla GPT-3.5 i GPT-4, o200k_base dla późniejszych. Liczenie z góry ma dwa powody — faktura jest wyrażona w tokenach, a wywołanie przekraczające okno kontekstu zostaje odrzucone, a nie grzecznie przycięte. Tokenizacja jest specyficzna dla modelu: wynik z tiktoken nie mówi nic o tym, co z tym samym tekstem zrobi tokenizer Claude’a czy Llamy.