Continuous batching
Una técnica de inferencia de LLM que va rellenando dinámicamente el lote en curso con nuevas peticiones en cuanto se libera un hueco — en vez de esperar a que termine todo el lote. Maximiza la utilización de la GPU y el rendimiento en un motor de servicio de LLM.
Problema del batching normal (estático): cada petición genera un número distinto de tokens, así que terminan en momentos distintos; un lote estático debe esperar a la más larga → la GPU queda parcialmente ociosa. El continuous batching (también "in-flight" o "dynamic batching") trata cada paso de generación como una ocasión para meter nuevas peticiones en espera en los huecos que se abren cuando otras terminan → la GPU se mantiene saturada. Ganancia: un rendimiento drásticamente mayor (varias veces) en los sistemas de servicio. Lo popularizó vLLM (junto con PagedAttention) y hoy está en TGI, TensorRT-LLM y otros. Una técnica central tras el servicio eficiente de LLM a gran escala.