BLT
Архитектура Meta (декабрь 2024), полностью отказывающаяся от токенизатора: сырые байты группируются в патчи переменной длины в зависимости от предсказуемости текста.
У фиксированного словаря известные проблемы: редкие языки получают абсурдное число токенов, опечатки и необычные символы рассыпаются на куски, а модель не видит букв внутри слова. Работать на сырых байтах слишком дорого: последовательности примерно в четыре раза длиннее. BLT решает это небольшой моделью, оценивающей энтропию следующего байта: граница патча ставится там, где неопределённость подскакивает, — предсказуемый текст упаковывается в длинные патчи, сложный — в короткие. Вычисления достаются тому, что их требует. Эксперименты с масштабированием показали паритет с Llama 3 при равном бюджете обучения и лучшую устойчивость к шумному вводу.