Quantização (LLM)
Guardar os pesos de um modelo com precisão numérica menor (por exemplo 4 ou 8 bits em vez de 16) para reduzir o uso de memória e acelerar a inferência. Torna possível rodar modelos grandes em hardware modesto — com uma pequena perda de qualidade.
Mecânica: os pesos são convertidos de ponto flutuante (FP16/BF16) para menos bits (INT8, INT4, ou formatos como NF4). Um modelo de 70B que precisa de ~140 GB em FP16 pode encolher para ~35 GB em 4 bits — cabendo numa única GPU. O ganho: menos memória, mais velocidade (menos dado para mover) e inferência mais barata. O preço: uma perda de precisão que cresce quanto mais agressiva a quantização (4 bits costuma ser um bom equilíbrio; 2 bits já mostra perdas claras). Métodos: GPTQ, AWQ (pós-treino, sensível a quais pesos importam mais) e o formato GGUF para o llama.cpp. Diferente do QLoRA (que quantiza para TREINAR); aqui o foco é a inferência.