Destilación de LLM
Un modelo «alumno» pequeño aprende de un modelo «profesor» grande, ya sea a partir de los logits de salida (la destilación clásica de Hinton, 2015) o generando datos de entrenamiento con el profesor.
Por qué: un alumno de 7B puede rendir como un profesor de 70B en tareas concretas ⇒ inferencia mucho más barata. Ejemplos: Gemma 2B (destilado de Gemini), Llama 3.2 1B/3B (destilados de un Llama mayor), DistilBERT (2019). Se diferencia de la cuantización: la destilación cambia el modelo, la cuantización cambia la precisión.