Дистилляция LLM
Маленькая модель-«ученик» учится у большой модели-«учителя» — либо по выходным логитам (классическая дистилляция Хинтона, 2015), либо на данных, которые сгенерировал учитель.
Зачем: модель на 7B может на конкретных задачах приблизиться к учителю на 70B, а инференс стоит куда дешевле. Примеры: Gemma 2B (дистиллирована из Gemini), Llama 3.2 1B/3B (из более крупных Llama), DistilBERT (2019). От квантизации отличается тем, что дистилляция меняет саму модель, а квантизация — только точность представления весов.