AWQ
詳細情報
- 開発者
- Ji Lin ほか(MIT)
- 年
- 種別
- 学習後量子化アルゴリズム
- ライセンス
- MIT
- 仕様
- arXiv:2306.00978
- ソースコード
- github.com/mit-han-lab/llm-awq
Activation-aware Weight Quantization。活性化の値から敏感だとわかる「重要な」重みを守る、4ビットの学習後量子化手法。
MIT、2023年。着眼点は、重みのおよそ1%が出力品質の大半を左右するということだ。その重みを量子化前にスケールアップして守れば、残りはキャリブレーションデータなしでもINT4まで圧縮できる。GPTQより適用が速く、パープレキシティは同等かそれ以上である。
vLLM、SGLang、TensorRT-LLM、llama.cppがネイティブに対応している。Llama、Qwen、Mistralなどのオープンモデルを1枚のGPUで動かすときの定番の選択肢だ。