AWQ
Más información
- Creador
- Ji Lin et al. (MIT)
- Año
- Tipo
- Algoritmo de cuantización post-entrenamiento
- Licencia
- MIT
- Especificación
- arXiv:2306.00978
- Código fuente
- github.com/mit-han-lab/llm-awq
Activation-aware Weight Quantization: cuantización post-entrenamiento a 4 bits que protege los pesos "importantes" según lo que las activaciones revelan como sensible.
MIT, 2023. Observación: en torno al 1 % de los pesos concentra la mayor parte de la calidad de salida; protégelos (escalándolos antes de cuantizar) y el resto puede comprimirse a INT4 sin datos de calibración. Más rápido de aplicar que GPTQ y con una perplejidad comparable o mejor.
Soportado de forma nativa por vLLM, SGLang, TensorRT-LLM y llama.cpp. La opción por defecto para desplegar modelos abiertos (Llama, Qwen, Mistral) en una sola GPU.