QAT Quantization-Aware Training
Entrena el modelo sabiendo que se ejecutará cuantizado (INT8/INT4) — cuantización falsa en el forward, precisión completa en el backward. Pierde mucha menos calidad que la cuantización posterior al entrenamiento (PTQ).
PyTorch, TensorFlow y JAX tienen soporte nativo para QAT. Diferencia con la cuantización post-entrenamiento (PTQ): QAT pierde menos de un 1% de calidad en INT4, frente al 5-10% de PTQ. Es más caro en cómputo (necesita un fine-tune completo). Es el estándar en IA móvil (TensorFlow Lite, Core ML). Lo usan los modelos cuantizados de Llama 3.2 (Meta publicó versiones QAT en 2024).