Medusa

Klassisk spekulativ avkodning kräver en mindre modell som producerar förslag, vilket innebär två modeller att träna, distribuera och hålla i minnet. Medusa, publicerad 2024, monterar istället ett antal lätta prediktionshuvuden ovanpå den frysta huvudmodellens sista lager. Varje huvud gissar positionen två, tre eller fyra steg fram, och kombinationerna bildar ett träd av möjliga fortsättningar som verifieras i ett enda framåtpass med en särskild attentionmask. Det som stämmer med vad modellen själv skulle producerat behålls, resten kastas — utdata blir alltså identisk med vanlig avkodning. Typisk vinst ligger kring två till tre gånger, till priset av lite extra parametrar.