Pico de pérdida
Cuando la pérdida de entrenamiento se dispara de golpe en mitad de una ejecución. A veces se recupera sola, a veces el modelo queda arruinado y hay que volver a un checkpoint anterior.
El fenómeno es bien conocido por cualquiera que haya entrenado modelos grandes, y vergonzosamente difícil de predecir. La documentación pública más instructiva es la bitácora de Meta sobre OPT-175B, que registra decenas de reinicios, fallos de hardware e intervenciones manuales a lo largo de varios meses. Las causas son múltiples y a veces se solapan: los logits de atención crecen sin control, lo que se corrige normalizando queries y keys; el segundo momento de Adam queda mal condicionado tras largos tramos con gradientes pequeños; un lote concreto contiene datos basura; o algo se desborda en baja precisión. La defensa estándar es guardar checkpoints con frecuencia, de modo que un pico cueste horas en lugar de días, y poder saltarse el lote que lo desencadenó.