Medusa
Decodifica speculativa senza un modello draft separato: si montano sul modello alcune teste aggiuntive che indovinano più token in avanti contemporaneamente.
La decodifica speculativa classica richiede un modello più piccolo che produca le proposte, cioè due modelli da addestrare, distribuire e tenere in memoria. Medusa, pubblicato nel 2024, monta invece una manciata di teste di previsione leggere sopra l'ultimo livello del modello principale, congelato. Ogni testa indovina la posizione a due, tre o quattro passi di distanza, e le combinazioni formano un albero di continuazioni candidate, verificate in un unico passaggio in avanti grazie a una maschera di attenzione apposita. Ciò che coincide con quanto il modello avrebbe prodotto comunque viene tenuto, il resto scartato, quindi l'output è identico alla decodifica ordinaria. L'accelerazione tipica è di circa due-tre volte, al prezzo di pochi parametri in più.