Medusa

Klasik spekülatif kod çözme, öneri üretmek için daha küçük bir model gerektirir; yani eğitilecek, dağıtılacak ve bellekte tutulacak iki model demektir. 2024’te yayımlanan Medusa ise dondurulmuş ana modelin son katmanının üstüne bir avuç hafif tahmin başlığı yerleştirir. Her başlık iki, üç ya da dört adım ilerideki konumu tahmin eder; kombinasyonlar, bu iş için hazırlanmış bir dikkat maskesiyle tek bir ileri geçişte doğrulanan adayların ağacını oluşturur. Modelin zaten üreteceğiyle eşleşen kısım tutulur, gerisi atılır — bu yüzden çıktı sıradan kod çözmeyle aynıdır. Tipik hızlanma iki ila üç kat civarındadır, bedeli birkaç ek parametredir.