BPE Byte Pair Encoding
El algoritmo que parte el texto en subpalabras para casi todos los modelos de lenguaje. Nació como método de compresión en 1994 y Sennrich et al. lo adaptaron al procesamiento del lenguaje en 2016.
Entrenarlo es sencillo: se empieza con caracteres sueltos, se busca el par adyacente más frecuente, se fusiona en un símbolo nuevo y se repite hasta que el vocabulario tiene el tamaño deseado. Las palabras comunes acaban como un solo token y las raras se construyen a partir de varios trozos. Eso resuelve dos problemas de golpe — una palabra que el modelo nunca ha visto puede representarse igualmente, y el vocabulario no necesita contener cada forma flexionada. El BPE a nivel de byte (desde GPT-2) trabaja sobre bytes crudos y por tanto puede codificar cualquier cosa, emojis y código incluidos. De ahí viene también el coste desigual: los idiomas infrarrepresentados en los datos de entrenamiento se parten en más tokens y cuestan más por carácter.