Medusa
Decodificación especulativa sin modelo borrador aparte: se añaden unas pocas cabezas extra al modelo que adivinan varios tokens por delante a la vez.
La decodificación especulativa clásica necesita un modelo más pequeño que proponga candidatos, lo que implica entrenar, desplegar y mantener en memoria dos modelos. Medusa, publicado en 2024, monta en su lugar un puñado de cabezas de predicción ligeras sobre la última capa del modelo principal, que permanece congelado. Cada cabeza adivina la posición dos, tres o cuatro pasos por delante, y las combinaciones forman un árbol de continuaciones candidatas que se verifica en un único paso hacia delante mediante una máscara de atención diseñada para ello. Lo que coincide con lo que el modelo habría producido de todos modos se conserva, y el resto se descarta — así que la salida es idéntica a la de la decodificación normal. La ganancia típica ronda entre dos y tres veces, al precio de unos pocos parámetros adicionales.