tiktoken
Il tokenizer BPE di OpenAI, scritto in Rust con binding Python. Lo strumento a cui ricorrere per sapere quanto costerà una chiamata prima di inviarla.
La libreria è stata rilasciata nel 2022 ed è diventata presto la risposta standard a «quanti token sono?», perché è di ordini di grandezza più veloce delle implementazioni in puro Python e produce esattamente ciò che vede il modello. Ogni famiglia di modelli ha la sua codifica: cl100k_base per GPT-3.5 e GPT-4, o200k_base per i successivi. Contare in anticipo conta per due motivi: la fattura è espressa in token e una chiamata che supera la finestra di contesto viene rifiutata, non troncata con garbo. Si tenga presente che la tokenizzazione dipende dal modello: un numero di tiktoken non dice nulla su ciò che il tokenizer di Claude o di Llama ricaverebbe dallo stesso testo.