GPTQ
Plus d'infos
- Créé par
- Frantar, Ashkboos, Hoefler, Alistarh (ETH Zurich)
- Année
- Type
- Algorithme de quantification post-entraînement
- Licence
- Apache 2.0
- Spec
- arXiv:2210.17323
- Code source
- github.com/IST-DASLab/gptq
Quantification post-entraînement pour LLM jusqu'à 3–4 bits, via une compensation d'erreur approximée par Hessienne, couche par couche.
Frantar et al. (ETH Zurich, 2022). Pour chaque couche : quantifier les poids colonne par colonne et corriger le reste en résolvant un problème de minimisation quadratique sur un lot de calibration. Prend quelques heures sur un Llama-70B, mais c'est un coût ponctuel — le modèle devient 4× plus petit avec une perte de perplexité marginale.
En pratique, souvent comparable ou légèrement meilleur qu'AWQ, mais nécessite des données de calibration. Le format EXL2 d'ExLlamaV2 en est une variante. Largement utilisé jusqu'à ce que l'entraînement en FP8 devienne courant.