Medusa
Dekodowanie spekulatywne bez osobnego modelu roboczego: do modelu dokłada się kilka dodatkowych głowic, które zgadują kilka tokenów naprzód jednocześnie.
Klasyczne dekodowanie spekulatywne potrzebuje mniejszego modelu do generowania propozycji, czyli dwóch modeli do wytrenowania, wdrożenia i trzymania w pamięci. Medusa, opublikowana w 2024 roku, montuje zamiast tego garść lekkich głowic predykcyjnych na ostatniej warstwie zamrożonego modelu głównego. Każda głowica zgaduje pozycję dwa, trzy lub cztery kroki naprzód, a kombinacje tworzą drzewo kandydatów na kontynuację, weryfikowane w jednym przebiegu w przód za pomocą specjalnej maski uwagi. To, co zgadza się z tym, co model i tak by wygenerował, jest zachowywane, a reszta odrzucana — więc wynik jest identyczny jak przy zwykłym dekodowaniu. Typowe przyspieszenie wynosi około dwóch do trzech razy, kosztem kilku dodatkowych parametrów.