Gradyan birikimi
Optimize edici adım atmadan önce birkaç küçük yığının gradyanlarını toplamak; belleğe asla sığmayacak bir yığın boyutunu taklit etmek için.
Teknik basittir ve her yerde kullanılır: sekizer örnekli dört mikroyığın, otuz iki örnekli tek bir yığınla aynı güncellemeyi verir; bedeli adım başına dört kat uzun sürmesidir. Tek incelik normalizasyondur: kayıp, birikim adımı sayısına bölünmelidir; yoksa gradyan dört kat büyük çıkar ve etkin öğrenme oranı yapılandırmanızdaki değer olmaz. Bu ayrıntı, 2024’te birkaç büyük eğitim çatısında, dizi uzunlukları farklı olduğunda yanlış uygulanmış çıktı; çünkü token sayısına değil adım sayısına bölüyorlardı. Dağıtık eğitimde ara adımlarda gradyan senkronizasyonunu da kapatmalısınız.