Loss Spike
Wenn der Trainingsverlust mitten im Lauf plötzlich in die Höhe schießt. Manchmal erholt er sich von selbst, manchmal ist das Modell ruiniert, und man muss auf einen früheren Checkpoint zurück.
Das Phänomen kennt jeder, der große Modelle trainiert hat, und es ist peinlich schwer vorherzusagen. Die lehrreichste öffentliche Dokumentation ist Metas Logbuch zu OPT-175B, das über einige Monate Dutzende Neustarts, Hardwareausfälle und manuelle Eingriffe festhält. Die Ursachen sind vielfältig und überschneiden sich teilweise: unkontrolliert wachsende Attention-Logits, denen man mit Normalisierung von Queries und Keys begegnet; ein schlecht konditioniertes zweites Moment bei Adam nach langen Phasen kleiner Gradienten; ein einzelner Batch mit Datenmüll; oder ein Überlauf in niedriger Präzision. Die Standardverteidigung: häufig checkpointen, damit ein Spike Stunden statt Tage kostet, und den auslösenden Batch überspringen können.