AWQ
Activation-aware Weight Quantization — quantização pós-treinamento em 4 bits que protege os pesos "importantes" com base no que as ativações revelam ser sensível.
MIT, 2023. Observação: cerca de 1% dos pesos responde pela maior parte da qualidade da saída — protegê-los (escalando antes de quantizar) permite comprimir o resto para INT4 sem dados de calibração. Mais rápido de aplicar que o GPTQ e com perplexidade comparável ou melhor.
Suportado nativamente por vLLM, SGLang, TensorRT-LLM e llama.cpp. A escolha padrão ao implantar modelos abertos (Llama, Qwen, Mistral) numa única GPU.