Дистилляция модели
Обучение меньшей и более быстрой модели-«ученика» на ответах большой модели-«учителя».
Большие модели (GPT-4, Claude Opus) дороги в эксплуатации. Дистилляция переносит основную часть знаний в модель в 10 раз меньше. Именно так появились варианты Haiku, Mini, Flash.