LLM distillation
Träna en liten "student"-modell att imitera en stor "teacher"-modells outputs. Geoffrey Hinton populariserade 2015. LLM-eran: lägg ut mid-sized modeller med GPT-4-nivå kvalitet på specifika tasks.
Tekniker: hard-label-distillation (use teacher's predictions som ground truth), soft-target (use full probability distribution), embedding-distillation. Berömda modeller via distillation: Microsoft Phi-3, Orca-3, många Llama-finetunes, DeepSeek-R1-Distill-serien. Etisk fråga: bryter ofta ToS att destillera från ChatGPT/Claude.