Distillazione di LLM
Un modello «studente» piccolo impara da un modello «insegnante» grande, sia tramite i logit di output (la distillazione classica di Hinton, 2015) sia tramite dati di addestramento generati dall'insegnante.
Il motivo: uno studente da 7B può eguagliare un insegnante da 70B su compiti specifici, con un'inferenza molto più economica. Esempi: Gemma 2B (distillato da Gemini), Llama 3.2 1B/3B (distillati da Llama più grandi), DistilBERT (2019). Si distingue dalla quantizzazione: la distillazione cambia il modello, la quantizzazione cambia la precisione.