チャンク化プリフィル
長いプロンプトの処理を小分けにして、進行中のトークン生成と交互に実行する手法。大きなプロンプトひとつで全員が固まるのを防ぐ。
推論の2つのフェーズは性格がまったく違う。プリフィルはプロンプト全体を一度に処理して計算能力を使い切り、デコードは1トークンずつ生成するのでメモリ帯域に律速される。これを単純に同じキューで流すと、3万トークンのプロンプトが届いた瞬間、ストリーミング中の全員が数秒間待たされる。プリフィルを数百トークンずつのチャンクに切り、各チャンクをデコードのステップと同じバッチに混ぜると負荷が平準化される。総スループットは1〜2％下がるが、トークン間の遅延は滑らかになる。この手法は Sarathi の研究に由来し、vLLM と TensorRT-LLM の両方に実装されている。