Megatron-LM
Implementação de referência da Nvidia para treinar grandes modelos transformer, publicada em 2019. O artigo que introduziu o paralelismo de tensor na forma hoje usada em toda parte.
A ideia central é dividir cada multiplicação de matrizes entre várias placas, em vez de dividir o modelo por camadas. Num bloco feed-forward, o primeiro peso é dividido por colunas e o segundo por linhas, o que exige uma única redução por bloco. As cabeças de atenção são distribuídas de forma análoga, uma ou mais por placa. Como a comunicação acontece dentro de cada camada, o método exige alta largura de banda e por isso é usado dentro de um nó, via NVLink, enquanto paralelismo de pipeline e de dados são usados entre nós. A combinação foi documentada no trabalho seguinte sobre paralelismo 3D e sustenta praticamente todos os grandes treinamentos desde então.