Обучение с учётом квантизации (QAT)
Модель обучается с расчётом на то, что работать она будет в квантизованном виде (INT8/INT4): прямой проход — с имитацией квантизации, обратный — в полной точности. Качество теряется заметно меньше, чем при посттренировочной квантизации.
Нативная поддержка QAT есть в PyTorch, TensorFlow и JAX. Разница с посттренировочной квантизацией (PTQ): на INT4 QAT даёт потерю менее 1% против 5–10% у PTQ. Цена — больше вычислений, ведь нужно полное дообучение.
QAT стандартен в мобильном ИИ (TensorFlow Lite, Core ML). Квантизованные модели Llama 3.2 выпущены Meta в QAT-версиях в 2024 году.