Decodificación especulativa
Técnica de inferencia para LLM: un modelo draft pequeño genera N tokens por adelantado y el modelo grande verifica el lote en paralelo. Se acepta si coincide, se rechaza si diverge. 2-3 veces más rápido sin pérdida de calidad. Artículo de DeepMind de 2022, despliegue generalizado desde 2023.
La idea de fondo: la inferencia de LLM está limitada por memoria, así que un lote de 5 tokens cuesta solo un poco más que uno solo. El modelo draft adivina; el modelo grande verifica los 5 de golpe. En hardware: las GPU son malas en decodificación secuencial (50 µs de coste por token); la verificación paralela aprovecha el SIMD. Implementaciones: vLLM, TGI, llama.cpp, la API de OpenAI. Va de la mano con la caché KV y flash-attention para lograr el mejor rendimiento de inferencia.