GPTQ
Подробнее
- Создатели
- Франтар, Ашкбоос, Хёфлер, Алистарх (ETH Цюрих)
- Год
- Тип
- Алгоритм посттренировочной квантизации
- Лицензия
- Apache 2.0
- Спецификация
- arXiv:2210.17323
- Исходный код
- github.com/IST-DASLab/gptq
Посттренировочная квантизация LLM до 3–4 бит с послойной компенсацией ошибки на основе приближённого гессиана.
Авторы — Франтар и др. (ETH Цюрих, 2022). Для каждого слоя веса квантуются по одному столбцу, а оставшиеся корректируются решением квадратичной задачи минимизации на калибровочной выборке. На Llama-70B занимает часы, но это разовые затраты: модель становится в 4 раза меньше при небольшой потере перплексии.
На практике часто сопоставим с AWQ или чуть лучше, но требует калибровочных данных. Формат EXL2 из ExLlamaV2 — его вариант. Широко применялся, пока обучение в FP8 не стало массовым.