Prefill fragmentado
Dividir el procesado de un prompt largo en trozos e intercalarlos con la generación de tokens en curso, para que un prompt grande no congele a todos los demás.
Las dos fases de la inferencia tienen un carácter completamente distinto. El prefill procesa el prompt entero de una vez y satura el cómputo; el decode produce un token cada vez y lo limita el ancho de banda de memoria. Ejecútalos sin más en la misma cola y un prompt entrante de treinta mil tokens hace que todos los que están recibiendo texto en streaming sufran una pausa de un par de segundos. Al cortar el prefill en trozos de unos pocos cientos de tokens y colocar cada trozo en un batch junto a pasos de decode, la carga se nivela: el rendimiento total baja un uno o dos por ciento mientras la latencia entre tokens se vuelve suave. La técnica proviene del trabajo Sarathi y viene tanto en vLLM como en TensorRT-LLM.