Skok straty
Moment, gdy strata treningowa nagle wystrzeliwuje w trakcie przebiegu. Czasem sama wraca do normy, czasem model jest zrujnowany i trzeba cofnąć się do wcześniejszego checkpointu.
Zjawisko znane każdemu, kto trenował duże modele, i żenująco trudne do przewidzenia. Najbardziej pouczającą publiczną dokumentacją jest dziennik Mety z OPT-175B, który odnotowuje dziesiątki restartów, awarii sprzętu i ręcznych interwencji w ciągu kilku miesięcy. Przyczyn jest kilka i częściowo się nakładają: niekontrolowany wzrost logitów uwagi, któremu zapobiega normalizacja zapytań i kluczy; źle uwarunkowany drugi moment w Adamie po długich okresach małych gradientów; pojedyncza partia ze śmieciowymi danymi; albo przepełnienie w niskiej precyzji. Standardowa obrona to częste checkpointy, by skok kosztował godziny, a nie dni, oraz możliwość pominięcia partii, która go wywołała.