Prefill / decode
As duas fases da inferência de um LLM: o prefill processa o prompt inteiro em paralelo (preenchendo o KV cache) e o decode gera a resposta um token por vez. Os perfis de desempenho são completamente diferentes, e isso molda como os LLMs são otimizados e precificados.
Prefill: todo o texto de entrada passa pelo modelo de uma vez (todos os tokens em paralelo) → limitado por computação, aproveita bem a GPU e determina o "tempo até o primeiro token" (TTFT). Decode: cada novo token exige uma passada completa pelo modelo, mas só para um token → limitado pela largura de banda de memória (é preciso ler todos os pesos + o KV cache para produzir um token), ineficiente por token, e determina os "tokens por segundo". Consequências: prompt longo = prefill caro (um dos motivos de tokens de entrada e de saída terem preços diferentes); o decode se beneficia de batching e de otimizações do KV cache. Alguns sistemas chegam a separar as fases em GPUs distintas ("disaggregated serving"). Fundamental para entender latência e custo de LLMs. Relacionado a KV cache e continuous batching.