Speculative decoding
Inferentietechniek voor LLM's: een klein draftmodel genereert N tokens vooruit, het grote model controleert ze in één batch. Komt het overeen, dan wordt het geaccepteerd; bij afwijking wordt verworpen. 2–3 keer sneller zonder kwaliteitsverlies. DeepMind-paper uit 2022, breed ingezet vanaf 2023.
Het inzicht: LLM-inferentie is geheugengebonden, dus een batch van 5 tokens kost maar iets meer dan 1. Het draftmodel gokt, het grote model controleert er vijf tegelijk. GPU's zijn slecht in sequentieel decoderen; parallel verifiëren benut de SIMD-eenheden. Implementaties: vLLM, TGI, llama.cpp, de API van OpenAI. Samen met KV-cache en flash-attention geeft dit de beste inferentiedoorvoer.