Всплеск потерь
Внезапный скачок функции потерь посреди обучения. Иногда она приходит в норму сама, иногда модель испорчена, и приходится откатываться к более раннему чекпоинту.
Явление знакомо каждому, кто обучал большие модели, и до неприличия плохо предсказуемо. Самое поучительное из публично доступных описаний — журнал Meta по OPT-175B, где за несколько месяцев записаны десятки перезапусков, отказов оборудования и ручных вмешательств. Причин несколько, и отчасти они пересекаются: неконтролируемый рост логитов внимания, с чем борются нормализацией запросов и ключей; плохо обусловленный второй момент Adam после долгих участков с малыми градиентами; один-единственный батч с мусорными данными; или переполнение при низкой точности. Стандартная защита — часто сохранять чекпоинты, чтобы всплеск стоил часов, а не суток, и уметь пропустить батч, который его вызвал.