Прунинг нейросетей
Удаление весов и нейронов, мало влияющих на результат: модель уменьшается, инференс ускоряется. Популяризировал метод Song Han в 2015 году работой Deep Compression.
Есть два основных варианта. Магнитудный прунинг убирает наименьшие по модулю веса — это самый простой способ. Структурный прунинг убирает целые каналы или головы внимания и лучше подходит для GPU.
«Гипотеза лотерейного билета» (Frankle и Carbin, 2019) утверждает, что внутри сети есть разреженные подсети, обучающиеся не хуже полной. В продакшене прунинг сочетают с квантизацией и дистилляцией.