Gradientklippning
Att sätta ett tak på hur stort ett träningssteg får bli, så att en enda avvikande batch inte hinner förstöra en modell det tagit veckor att träna.
Den vanliga formen klipper på global norm: man räknar ut den sammanlagda längden av gradientvektorn över samtliga parametrar, och överstiger den tröskeln skalas allting ner med samma faktor. Poängen med att skala proportionellt är att riktningen bevaras — bara steglängden begränsas — till skillnad från att klippa varje element för sig, vilket förvränger vilken väg uppdateringen pekar. Ett vanligt tröskelvärde är 1,0. Utöver skyddet är normen dessutom den enskilt mest bevakade siffran under en stor körning, eftersom en plötslig topp i den nästan alltid föregår att förlusten skenar. I distribuerad träning måste normen räknas över alla skärvor, vilket är ett verkligt kommunikationssteg och en klassisk källa till subtila fel i egenbyggda träningsloopar.