Tokenizador
El componente que parte el texto en tokens antes de que un LLM lo vea.
Los algoritmos habituales son BPE (codificación por pares de bytes), WordPiece y SentencePiece. Las palabras frecuentes suelen ocupar un solo token y las raras se parten en varios, lo que penaliza a las lenguas con menos texto en el corpus de entrenamiento: la misma frase gasta más tokens en español que en inglés. Cada modelo lleva su propio tokenizador, así que los recuentos de GPT, Claude y Llama no son comparables entre sí.