Knowledge distillation
Si addestra un piccolo modello «studente» a imitare un grande «insegnante», copiandone non solo l'output ma la distribuzione di probabilità, che contiene molta più informazione.
Hinton et al., 2015. La loss dello studente combina l'entropia incrociata rispetto alle etichette reali e la divergenza KL rispetto alla softmax dell'insegnante (ammorbidita da una «temperatura»). Risultato: un modello dieci volte più piccolo con circa il 90 % della qualità.
Sta dietro a molti successi dei modelli piccoli: DistilBERT, Gemma (distillato da Gemini), TinyLlama, in parte Mistral 7B. È centrale anche nella distillazione di DeepSeek-R1 in modelli di ragionamento più piccoli.