Pruning van neurale netwerken
Gewichten of neuronen die weinig bijdragen worden verwijderd, zodat het model kleiner wordt en sneller rekent. Song Han maakte de techniek in 2015 bekend met Deep Compression.
Twee smaken: magnitude pruning (de kleinste gewichten weghalen, het eenvoudigst) en gestructureerde pruning (hele kanalen of attention heads, beter voor gpu's). De ‘Lottery Ticket Hypothesis’ (Frankle en Carbin, 2019) stelt dat er ijle deelnetwerken bestaan die even goed trainen. In productie wordt pruning gecombineerd met kwantisatie en distillatie.