Toplu normalleştirme (batch normalization)
Her özelliği, mini yığındaki bütün örnekler üzerinden normalleştirme yöntemi. 2015'te Ioffe ve Szegedy tarafından tanıtıldı ve derin evrişimli ağların eğitilebilir hale gelmesinin en büyük tek nedenlerinden biridir.
Etki çarpıcıydı: öğrenme hızları kat kat artırılabildi, ilk değer seçimine duyarlılık azaldı ve ağlar çok daha çabuk yakınsadı. Özgün açıklama, yani "içsel ortak değişken kayması"nı azalttığı fikri, sonradan sorgulandı; bugün daha yaygın yorum kayıp yüzeyini düzleştirdiği yönünde. İstatistiklerin yığından çekilmesinin iki pratik sorunu var: küçük yığınlarda tahminler gürültülü olur ve çıkarım sırasında saklanmış hareketli ortalamalar kullanıldığı için davranış eğitimden farklıdır; klasik bir hata kaynağı. Bu yüzden dizi modelleri bunun yerine katman normalleştirmesini kullanır.