Destilación de conocimiento
Entrenar un modelo «alumno» pequeño para imitar a un «profesor» grande — copia no solo su salida sino su distribución de probabilidad sobre las salidas, que lleva mucha más información.
Hinton et al. (2015). La pérdida del alumno = combinación de cross-entropy contra las etiquetas duras y divergencia KL contra el softmax del profesor (suavizado con una «temperatura»). Resultado: un modelo 10 veces más pequeño con quizá el 90 % de la calidad.
Detrás de los éxitos modernos de modelos pequeños: DistilBERT, Gemma (destilado de Gemini), TinyLlama, Mistral 7B (en parte). También central en la destilación de DeepSeek-R1 hacia modelos de razonamiento más pequeños.