Tokenizer
Il componente che divide il testo in token prima che un LLM lo veda.
Gli algoritmi più diffusi sono BPE (Byte-Pair Encoding), WordPiece e SentencePiece. Le parole diventano token: quelle comuni sono spesso un token solo, quelle rare vengono spezzate in molti pezzi. Ogni modello ha il proprio tokenizer, quindi i conteggi di token non sono confrontabili tra GPT, Claude e Llama.