Chunked prefill
Att dela upp bearbetningen av en lång prompt i bitar och varva dem med pågående tokengenerering, så att en enda stor prompt inte fryser alla andra.
De två faserna i inferens har helt olika karaktär. Prefill går igenom hela prompten på en gång och mättar beräkningskapaciteten; decode producerar en token i taget och begränsas av minnesbandbredd. Kör en server dem naivt i samma kö innebär en inkommande prompt på trettiotusen token att alla som just nu får text strömmad till sig upplever en paus på ett par sekunder. Genom att kapa prefillen i bitar om några hundra token och lägga varje bit i en batch tillsammans med decode-steg jämnas det ut: den totala genomströmningen sjunker någon procent medan tiden mellan tokens blir jämn. Tekniken kommer från Sarathi-arbetet och finns i både vLLM och TensorRT-LLM.