Chunked prefill
Dividir o processamento de um prompt longo em pedaços e intercalá-los com a geração de tokens em andamento, para que um único prompt grande não congele todo mundo.
As duas fases da inferência têm naturezas totalmente diferentes. O prefill processa o prompt inteiro de uma vez e satura o poder de computação; o decode produz um token por vez e é limitado pela largura de banda de memória. Rode-as ingenuamente na mesma fila e um prompt de trinta mil tokens chegando significa que todo mundo que está recebendo texto em streaming naquele momento sente uma pausa de alguns segundos. Cortando o prefill em pedaços de algumas centenas de tokens e colocando cada pedaço num lote junto com passos de decode, a carga se equilibra: a vazão total cai um ou dois por cento, enquanto a latência entre tokens fica uniforme. A técnica vem do trabalho Sarathi e está presente tanto no vLLM quanto no TensorRT-LLM.