Token
La unidad mínima de texto que un modelo de lenguaje procesa — ni una letra ni exactamente una palabra.
El texto se divide en fragmentos frecuentes: una palabra común suele ser un token, una rara se parte en varios. En inglés la regla aproximada es un token por cada cuatro caracteres; en idiomas con menos representación en el vocabulario hacen falta más tokens para decir lo mismo, lo que los encarece.
Importa porque todo se mide en tokens: la ventana de contexto, el precio de la API y la velocidad de respuesta. También explica por qué a un LLM le cuesta contar letras — no ve letras, ve tokens.