Cuantización (LLM)
Guardar los pesos de un modelo con menor precisión numérica (por ejemplo 4 u 8 bits en lugar de 16) para reducir la memoria necesaria y acelerar la inferencia. Permite ejecutar modelos grandes en hardware modesto, a cambio de una pequeña pérdida de calidad.
Mecánica: los pesos se convierten de coma flotante (FP16/BF16) a menos bits (INT8, INT4, o formatos como NF4). Un modelo de 70B que necesita ~140 GB en FP16 puede reducirse a ~35 GB en 4 bits → cabe en una sola GPU. Ventaja: menos memoria, más velocidad (hay menos datos que mover), inferencia más barata. Precio: cierta pérdida de precisión que crece cuanto más agresiva es la cuantización (4 bits suele ser un buen equilibrio; con 2 bits ya se nota claramente). Métodos: GPTQ, AWQ (post-entrenamiento, con criterio sobre qué pesos son sensibles), y el formato GGUF para llama.cpp. Se diferencia de QLoRA (que cuantiza para ENTRENAR); esto es cosa de la inferencia. Una de las técnicas más importantes para ejecutar LLMs en local. Está emparentada con GGUF y QLoRA.