Quantification (LLM)
Stocker les poids d'un modèle avec une précision numérique moindre (par ex. 4 ou 8 bits au lieu de 16) pour réduire les besoins en mémoire et accélérer l'inférence. Elle permet de faire tourner de gros modèles sur du matériel modeste — au prix d'une légère perte de qualité.
Mécanique : les poids passent de la virgule flottante (FP16/BF16) à moins de bits (INT8, INT4, ou des formats comme NF4). Un modèle de 70 Md de paramètres qui exige environ 140 Go en FP16 tombe à environ 35 Go en 4 bits → il tient sur un seul GPU. Gain : moins de mémoire, plus de vitesse (moins de données à déplacer), une inférence moins chère. Prix : une certaine perte de précision, qui croît avec l'agressivité de la quantification (le 4 bits est souvent un bon compromis ; le 2 bits commence à se voir nettement). Méthodes : GPTQ, AWQ (post-entraînement, attentives aux poids sensibles) et le format GGUF pour llama.cpp. À ne pas confondre avec QLoRA (qui quantifie pour l'ENTRAÎNEMENT) ; ici, il s'agit de l'inférence. L'une des techniques les plus importantes pour faire tourner des LLM en local. Voir aussi GGUF et QLoRA.