Tokenizer
Komponenten som delar upp text i tokens innan en LLM ser dem.
Vanligaste algoritmer: BPE (Byte-Pair Encoding), WordPiece, SentencePiece. Ord blir tokens, vanliga ord ofta 1 token, ovanliga splittas i flera. Olika modeller har olika tokenizers — token "räkningar" är inte jämförbara mellan GPT, Claude, Llama.