tiktoken
O tokenizador BPE da OpenAI, escrito em Rust com bindings para Python. A ferramenta a que você recorre para descobrir quanto uma chamada vai custar antes de enviá-la.
A biblioteca foi lançada em 2022 e logo virou a resposta padrão para "quantos tokens tem isto", por ser ordens de grandeza mais rápida que as implementações em Python puro e produzir exatamente o que o modelo enxerga. Cada família de modelos tem sua codificação: cl100k_base para GPT-3.5 e GPT-4, o200k_base para os mais recentes. Contar antes importa por dois motivos — a fatura é denominada em tokens, e uma chamada que estoura a janela de contexto é rejeitada, não truncada com educação. Atenção: a tokenização é específica de cada modelo; o número do tiktoken não diz nada sobre o que o tokenizador de um Claude ou de um Llama faria com o mesmo texto.