Draft model
Mały LLM generujący kandydackie tokeny, które większy model „docelowy” weryfikuje równolegle. Napędza dekodowanie spekulatywne. Współczynnik akceptacji 50–80% daje 2–3-krotne przyspieszenie inferencji bez utraty jakości.
Klasyczna para: Llama-3-8B jako draft i Llama-3-70B jako model docelowy. Draft generuje 5–10 tokenów do przodu, a model docelowy weryfikuje całą paczkę w jednym przebiegu. Jeśli wszystko się zgadza — akceptuje wszystko. Jeśli nie — akceptuje do miejsca rozbieżności i dalej generuje sam. Wariant samospekulatywny: model docelowy sam jest draftem z obciętymi warstwami (Medusa, Eagle). Standard w vLLM, TGI i llama.cpp od 2024 roku. Jakość nie ulega zmianie: ostateczny wynik zawsze ustala model docelowy, draft to tylko optymalizacja.