Gradient clipping
Fissare un tetto alla grandezza di un passo di addestramento, perché un singolo batch anomalo non rovini un modello costato settimane di lavoro.
La forma abituale limita la norma globale: si calcola la lunghezza complessiva del vettore dei gradienti su tutti i parametri e, se supera la soglia, tutto viene ridotto dello stesso fattore. Scalare in modo proporzionale preserva la direzione e limita solo la lunghezza del passo, a differenza del clipping elemento per elemento, che distorce il verso dell'aggiornamento. Una soglia comune è 1,0. Oltre alla protezione, la norma è il numero più osservato durante un grande addestramento, perché un suo picco improvviso precede quasi sempre la divergenza della loss. Nell'addestramento distribuito la norma va calcolata su tutti gli shard: è un vero passaggio di comunicazione e una classica fonte di bug sottili nei training loop scritti a mano.