Draft model
Aday token’lar üreten küçük LLM; daha büyük “hedef” LLM bunları paralel olarak doğrular. Spekülatif kod çözmeyi mümkün kılar: yüzde 50–80 kabul oranı, kaliteden ödün vermeden 2–3 kat çıkarım hızlanması demektir.
Klasik eşleşme: taslak olarak Llama-3-8B, hedef olarak Llama-3-70B. Taslak model 5–10 token ileri üretir; hedef model bu grubu tek geçişte doğrular. Hepsi uyuşursa hepsi kabul edilir. Uyuşmazlık olursa sapmaya kadarki kısım kabul edilir, gerisi hedef modelden yeniden üretilir. Kendi kendine spekülasyon: hedef modelin kendisi, kesilmiş katmanlarla taslak model olur (Medusa, Eagle). 2024’ten itibaren vLLM, TGI ve llama.cpp’de standarttır. Kalite açısından nötrdür: nihai çıktıyı her zaman hedef model belirler, taslak yalnızca bir optimizasyondur.