Model distillation
Träna en mindre, snabbare "student"-modell på output från en stor "teacher"-modell.
Stora modeller (GPT-4, Claude Opus) är dyra att köra. Distillation pressar in det mesta av kunskapen i en 10x mindre modell. Bakgrunden till Haiku, Mini, Flash-varianter.