Спекулятивное декодирование
Приём ускорения инференса LLM: маленькая черновая модель предлагает N токенов вперёд, большая проверяет их одним пакетом. Совпало — принято, разошлось — отброшено. Ускорение в 2–3 раза без потери качества. Статья DeepMind 2022 года, массовое внедрение с 2023-го.
Идея в том, что инференс LLM упирается в память: пакет из пяти токенов стоит лишь немногим дороже одного. Черновая модель угадывает, большая проверяет все пять разом. GPU плохо справляются с последовательным декодированием, а параллельная проверка использует SIMD. Реализации: vLLM, TGI, llama.cpp, API OpenAI. В паре с KV-кэшем и flash-attention даёт лучшую пропускную способность инференса.