EAGLE
Спекулятивное декодирование, которое угадывает внутренние признаки модели, а не следующий токен, — оказывается, это заметно проще сделать правильно.
Идея основана на наблюдении: последовательность скрытых состояний предпоследнего слоя гораздо регулярнее последовательности токенов, в которой есть подлинная случайность, привнесённая сэмплированием. Поэтому EAGLE обучает небольшую сеть предсказывать следующий вектор признаков, а заодно подаёт ей уже выбранный токен на шаг вперёд, чтобы снять неопределённость относительно того, куда повернул сэмплинг. Следующая версия EAGLE-2 делает черновое дерево динамическим: ширину ветвления определяет собственная уверенность модели, а EAGLE-3 отказывается от предсказания признаков в пользу прямого предсказания токенов со слиянием нескольких слоёв. С тех пор метод возглавляет сравнения Spec-Bench.