Costo dei token
L'unità di prezzo degli LLM: 1 token ≈ 0,75 parole inglesi ≈ 4 byte. Le lingue diverse dall'inglese costano di più (l'italiano ha un rapporto token/parola più alto) perché il vocabolario BPE è tarato soprattutto sull'inglese.
Il tokenizer conta: GPT-4 (cl100k), Claude e Llama dividono il testo in modo diverso. «Hello world» fa 2 token in GPT-4. Codice: una riga di Python vale circa 5–10 token. Le scritture non latine (giapponese, arabo) costavano molto di più prima di cl100k_base: il vecchio GPT-3 davinci poteva costare 5 volte tanto sul giapponese. Una chiamata con finestra di contesto da 200K non si paga come 200K token: si paga solo ciò che si invia. Con il caching (Anthropic, Google) i prefissi in cache costano 5–10 volte meno alla rilettura.