AWQ
Meer info
- Maker
- Ji Lin et al. (MIT)
- Uitgebracht
- Type
- Post-training-kwantisatiealgoritme
- Licentie
- MIT
- Specificatie
- arXiv:2306.00978
- Broncode
- github.com/mit-han-lab/llm-awq
Activation-aware Weight Quantization – 4-bit post-training-kwantisatie die de "belangrijke" gewichten beschermt op basis van wat de activaties als gevoelig aanwijzen.
MIT, 2023. De observatie: ongeveer 1 % van de gewichten bepaalt het grootste deel van de uitvoerkwaliteit. Beschermt men die (door ze vóór het kwantiseren op te schalen), dan kan de rest zonder kalibratiedata naar INT4. Sneller toe te passen dan GPTQ, met vergelijkbare of betere perplexity.
Standaard ondersteund door vLLM, SGLang, TensorRT-LLM en llama.cpp. De gebruikelijke keuze bij het draaien van open modellen (Llama, Qwen, Mistral) op één gpu.