Medusa
Спекулятивное декодирование без отдельной черновой модели: к основной модели прикручивают несколько дополнительных голов, угадывающих сразу несколько токенов вперёд.
Классическому спекулятивному декодированию нужна меньшая модель для предложений, то есть две модели, которые надо обучать, развёртывать и держать в памяти. Medusa, опубликованная в 2024 году, вместо этого ставит несколько лёгких предсказывающих голов поверх последнего слоя замороженной основной модели. Каждая голова угадывает позицию на два, три или четыре шага вперёд, а сочетания образуют дерево вариантов продолжения, которое проверяется за один прямой проход с помощью специальной маски внимания. То, что совпало с тем, что модель выдала бы и так, сохраняется, остальное отбрасывается — поэтому результат идентичен обычному декодированию. Типичное ускорение — в два-три раза ценой нескольких дополнительных параметров.