Normalização de camada
Normalização calculada dentro de cada amostra, ao longo de suas features, em vez de ao longo do batch. Apresentada por Ba, Kiros e Hinton em 2016, foi o que tornou o transformer treinável.
A diferença em relação à normalização em lote é decisiva para sequências: como as estatísticas dependem só da amostra atual, o método funciona igualmente bem com batch de tamanho um, com comprimentos de sequência variáveis e na inferência — não é preciso guardar médias móveis, e o comportamento é idêntico no treino e no uso. A posição também importa. O transformer original normalizava depois de cada subbloco (post-LN) e exigia um warmup cuidadoso da taxa de aprendizado; os modelos modernos normalizam antes (pre-LN), o que treina de forma estável sem truques. O RMSNorm é a simplificação usada pelo Llama e pela maioria dos modelos novos.