Kayıp sıçraması (loss spike)
Eğitim kaybının koşunun ortasında birdenbire fırlaması. Bazen kendiliğinden toparlanır, bazen model bozulur ve daha eski bir kontrol noktasına dönülür.
Büyük modeller eğitmiş herkesin tanıdığı, tahmini utanç verici derecede zor bir olgu. En öğretici kamuya açık belge, birkaç ay boyunca düzinelerce yeniden başlatmayı, donanım arızasını ve elle müdahaleyi kaydeden Meta'nın OPT-175B günlüğüdür. Nedenler birkaç tanedir ve kısmen iç içedir: kontrolsüz büyüyen dikkat logitleri (sorguları ve anahtarları normalize ederek çözülür); uzun süre küçük gradyanlardan sonra Adam'ın ikinci momentinin kötü koşullanması; tek bir batch'in çöp veri içermesi; ya da düşük hassasiyette bir şeyin taşması. Standart savunma, sıçramanın günlere değil saatlere mal olması için sık kontrol noktası almak ve sıçramayı tetikleyen batch'i atlayabilmektir.