Prefill / decode
De twee fasen van LLM-inferentie: prefill verwerkt de hele prompt parallel (en vult de KV-cache), en decode genereert het antwoord token voor token. Ze hebben totaal verschillende prestatieprofielen, wat bepaalt hoe LLM’s worden geoptimaliseerd en geprijsd.
Prefill: alle invoertekst gaat in één keer door het model (alle tokens parallel), dus rekenbegrensd; de gpu wordt goed benut en dit bepaalt de ‘time to first token’ (TTFT). Decode: elk nieuw token vraagt een volledige doorgang door het model, maar alleen voor één token. Dat is geheugenbandbreedtebegrensd (alle gewichten plus KV-cache worden gelezen voor één token), per token inefficiënt, en bepaalt de ‘tokens per seconde’. Gevolgen: een lange prompt betekent dure prefill (een reden dat invoer- en uitvoertokens verschillend worden geprijsd); decode profiteert van batching en KV-cache-optimalisatie. Sommige systemen scheiden de fasen zelfs over verschillende gpu’s (‘disaggregated serving’). Essentieel om latentie en kosten van LLM’s te begrijpen.