Черновая модель
Маленькая LLM, предлагающая токены-кандидаты, которые большая «целевая» модель проверяет параллельно. Основа спекулятивного декодирования. Доля принятых токенов 50–80 % даёт ускорение вывода в 2–3 раза без потери качества.
Классическая пара: Llama-3-8B как черновик и Llama-3-70B как цель. Черновик выдаёт 5–10 токенов вперёд, цель проверяет пачку за один проход. Всё совпало — принимаем всё; расхождение — принимаем до него и дальше генерирует цель. Есть и самоспекуляция, когда черновиком служит сама модель с усечёнными слоями (Medusa, Eagle). Стандарт в vLLM, TGI и llama.cpp с 2024 года. Качество не страдает: итог всегда определяет целевая модель, черновик — лишь оптимизация.