Layernormalisatie
Normalisatie die binnen elk afzonderlijk sample over de features wordt berekend, in plaats van over de batch. In 2016 gepresenteerd door Ba, Kiros en Hinton en de reden dat de transformer trainbaar werd.
Het verschil met batchnormalisatie is beslissend voor sequenties: omdat de statistieken alleen van het huidige sample afhangen, werkt de methode even goed met batchgrootte één, met wisselende sequentielengtes en bij inferentie — er hoeven geen lopende gemiddelden te worden bewaard en het gedrag is tijdens training en gebruik identiek. Ook de plaatsing bleek ertoe te doen. De oorspronkelijke transformer normaliseerde na elk subblok (post-LN) en had zorgvuldige learning-rate-warmup nodig; moderne modellen doen het ervoor (pre-LN), wat zonder trucs stabiel traint. RMSNorm is de vereenvoudiging die Llama en de meeste nieuwere modellen gebruiken.