Tokenizer
Die Komponente, die Text in Token zerlegt, bevor ein LLM ihn zu sehen bekommt.
Gängigste Verfahren: BPE (Byte-Pair Encoding), WordPiece, SentencePiece. Wörter werden zu Token, häufige oft zu genau einem, seltene werden in mehrere zerlegt. Verschiedene Modelle nutzen verschiedene Tokenizer — Token-"Zahlen" sind zwischen GPT, Claude und Llama nicht vergleichbar.