Dekodowanie spekulatywne
Technika inferencji LLM: mały model szkicowy zgaduje N tokenów do przodu, a duży model weryfikuje je zbiorczo, równolegle. Zgodne tokeny przyjmuje, przy rozbieżności odrzuca. Przyspieszenie 2–3× bez utraty jakości. Praca DeepMind z 2022 r., szerokie wdrożenia od 2023.
Kluczowa obserwacja: inferencja LLM jest ograniczona przepustowością pamięci, więc partia pięciu tokenów kosztuje tylko nieznacznie więcej niż jeden. Model szkicowy zgaduje, duży model sprawdza pięć naraz. Sprzęt: GPU kiepsko radzą sobie z dekodowaniem sekwencyjnym; weryfikacja równoległa wykorzystuje SIMD. Implementacje: vLLM, TGI, llama.cpp, API OpenAI. W duecie z KV cache i flash-attention daje najlepszą przepustowość inferencji.