Megatron-LM
Эталонная реализация Nvidia для обучения больших трансформеров, опубликованная в 2019 году. Статья, которая ввела тензорный параллелизм в том виде, в каком он используется повсеместно.
Основная идея — делить между несколькими картами каждое отдельное матричное умножение, а не разбивать модель на слои. В feed-forward-блоке первая матрица весов режется по столбцам, вторая по строкам, поэтому на блок нужна всего одна редукция. Головы attention распределяются соответственно: одна или несколько голов на карту. Поскольку коммуникация происходит внутри каждого слоя, метод требует высокой пропускной способности и потому применяется внутри узла, по NVLink, а между узлами используются конвейерный параллелизм и параллелизм по данным. Эта комбинация описана в последующей статье о 3D-параллелизме и лежит в основе практически всех крупных запусков обучения с тех пор.