Modeldistillatie
Een kleiner, sneller ‘student’-model trainen op de uitvoer van een groot ‘teacher’-model.
Grote modellen (GPT-4, Claude Opus) zijn duur in gebruik. Distillatie perst het grootste deel van de kennis in een model dat tien keer kleiner is. Het verhaal achter de varianten Haiku, Mini en Flash.