Pico de perda (loss spike)
Quando a perda do treinamento dispara de repente no meio da execução. Às vezes se recupera sozinha; às vezes o modelo está perdido e é preciso voltar para um checkpoint anterior.
O fenômeno é familiar a qualquer pessoa que já treinou modelos grandes e é constrangedoramente difícil de prever. A documentação pública mais instrutiva é o logbook da Meta sobre o OPT-175B, que registra dezenas de reinícios, falhas de hardware e intervenções manuais ao longo de alguns meses. As causas são várias e se sobrepõem em parte: logits de atenção crescendo sem controle, o que se resolve normalizando queries e keys; o segundo momento do Adam ficando mal condicionado depois de longos períodos de gradientes pequenos; um único batch com dados lixo; ou algo estourando em baixa precisão. A defesa padrão é salvar checkpoints com frequência, para que um pico custe horas e não dias, e poder pular o batch que o provocou.