QAT Quantization-Aware Training
Träna modellen med "fake quantization"-noder så den lär sig vara robust mot precision-tappet — högre kvalitet än post-hoc PTQ-quantization.
Insertar quantize+dequantize-operationer i forward-pass under träning. Modellen anpassar vikter för att minimera kvantiseringsfel. Krävs för INT4-modeller. FP8-träning (Nvidia H100) är variant där hela träningen är low-precision. NVIDIA TensorRT-LLM, llama.cpp, BitsAndBytes implementerar.