Loss spike
När träningsförlusten plötsligt skjuter i höjden mitt i en körning. Ibland återhämtar den sig av sig själv, ibland är modellen förstörd och man får backa till en tidigare checkpoint.
Fenomenet är välkänt för alla som tränat stora modeller och pinsamt svårt att förutsäga. Den mest lärorika offentliga dokumentationen är Metas loggbok från OPT-175B, som redovisar dussintals omstarter, hårdvarufel och manuella ingrepp under några månader. Orsakerna är flera och delvis överlappande: uppmärksamhetens logitvärden växer okontrollerat, vilket åtgärdas med normalisering av frågor och nycklar; Adams andra moment blir dåligt konditionerat efter långa perioder med små gradienter; en enskild batch innehåller skräpdata; eller något flödar över i låg precision. Standardförsvaret är att checkpointa ofta, så att en spik kostar timmar istället för dagar, och att kunna hoppa över den batch som utlöste den.