GPTQ
Meer info
- Gemaakt door
- Frantar, Ashkboos, Hoefler, Alistarh (ETH Zürich)
- Jaar
- Type
- Post-training-kwantisatie-algoritme
- Licentie
- Apache 2.0
- Spec
- arXiv:2210.17323
- Broncode
- github.com/IST-DASLab/gptq
Post-training-kwantisatie voor LLM's tot 3–4 bits, via per laag een benaderde, op de Hessiaan gebaseerde foutcompensatie.
Frantar et al. (ETH Zürich, 2022). Per laag worden de gewichten kolom voor kolom gekwantiseerd, waarna de overige kolommen worden bijgesteld door een kwadratisch minimalisatieprobleem op te lossen tegen een calibratiebatch. Bij Llama-70B kost dat uren, maar het is eenmalig — het model wordt vier keer kleiner bij een marginaal perplexiteitsverlies.
In de praktijk vaak gelijkwaardig aan of iets beter dan AWQ, maar met calibratiedata als vereiste. Het EXL2-formaat van ExLlamaV2 is een variant. Veel gebruikt tot FP8-training gemeengoed werd.