Tokenizer
Le composant qui découpe un texte en tokens avant qu'un LLM ne le voie.
Algorithmes les plus courants : BPE (Byte-Pair Encoding), WordPiece, SentencePiece. Les mots deviennent des tokens ; les mots courants tiennent souvent en un seul token, les rares se découpent en plusieurs. Chaque modèle a son propre tokenizer — les décomptes de tokens ne sont pas comparables entre GPT, Claude et Llama.