Decodificação especulativa
Técnica de inferência de LLMs: um modelo pequeno (rascunho) gera N tokens adiantados e o modelo grande os verifica em paralelo. Se baterem, são aceitos; se divergirem, são descartados. Acelera 2–3x sem perda de qualidade. Artigo da DeepMind em 2022, adoção ampla a partir de 2023.
A sacada: a inferência de LLMs é limitada pela memória, então um lote de 5 tokens custa só um pouco mais que 1. O modelo rascunho chuta; o modelo grande confere os 5 de uma vez. As GPUs vão mal na decodificação sequencial, e a verificação em paralelo aproveita melhor o SIMD. Implementações: vLLM, TGI, llama.cpp e a API da OpenAI. Combina com KV cache e flash attention para o melhor throughput possível.