Prefill / decode
Les deux phases de l'inférence d'un LLM : le prefill traite tout le prompt en parallèle (en remplissant le cache KV), et le decode génère la réponse un token à la fois. Leurs profils de performance n'ont rien en commun, ce qui façonne la manière dont les LLM sont optimisés et tarifés.
Prefill : tout le texte d'entrée traverse le modèle d'un coup (tous les tokens en parallèle) → limité par le calcul, il exploite bien le GPU et détermine le « temps jusqu'au premier token » (TTFT). Decode : chaque nouveau token exige un passage complet dans le modèle, mais pour un seul token → limité par la bande passante mémoire (on relit tous les poids et le cache KV pour produire un token), peu efficace par token, et il détermine les « tokens par seconde ». Conséquences : un long prompt = un prefill coûteux (l'une des raisons pour lesquelles tokens d'entrée et de sortie ne sont pas facturés au même prix) ; le decode profite du batching et de l'optimisation du cache KV. Certains systèmes séparent même les phases sur des GPU différents (« disaggregated serving », ou service désagrégé). Fondamental pour comprendre la latence et le coût des LLM. Lié au cache KV et au batching continu.