BPE
Алгоритм, разбивающий текст на подслова почти для всех языковых моделей. Изначально метод сжатия 1994 года, адаптированный для обработки языка Сеннрихом и соавторами в 2016-м.
Обучение простое: начать с отдельных символов, найти самую частую соседнюю пару, слить в новый символ, повторять, пока словарь не достигнет нужного размера. Частые слова становятся одним токеном, редкие собираются из нескольких частей. Это решает сразу две задачи: незнакомое слово всё равно можно представить, а в словаре не нужны все словоформы. Байтовый BPE (с GPT-2) работает с сырыми байтами и потому кодирует что угодно, включая эмодзи и код. Отсюда же неравная цена: языки, слабо представленные в обучающих данных, дробятся на больше токенов и обходятся дороже за символ.