RMSNorm
LayerNorm’un sadeleştirilmiş hâli — yalnızca kök ortalama karesine göre normalleştirir, ortalama çıkarmayı atlar. Biraz daha hızlı, eşit ya da daha iyi kalite.
Zhang & Sennrich, 2019. x / sqrt(mean(x²) + ε) · g; burada g öğrenilebilir bir ölçekleme vektörüdür. Ortalama hesabı yok, merkezleme adımı yok, bf16/fp16 altında daha az kayan nokta kararsızlığı.
Modern LLM mimarilerinde varsayılandır: Llama 2/3, Mistral, Qwen, Gemma, DeepSeek. Bugün pre-norm transformer kurulurken RMSNorm varsayılan seçimdir — LayerNorm eskimiş görünmeye başladı.