Megatron-LM
Nvidia'nın büyük transformer modellerini eğitmek için 2019'da yayımladığı referans gerçeklemesi. Tensör paralelliğini bugün her yerde kullanılan biçimiyle ortaya koyan makale.
Temel fikir, modeli katmanlara bölmek yerine her bir matris çarpımını birkaç karta bölmektir. İleri beslemeli bir blokta ilk ağırlık sütun yönünde, ikincisi satır yönünde bölünür; böylece blok başına yalnızca tek bir indirgeme (reduction) gerekir. Dikkat başlıkları da buna uygun dağıtılır: kart başına bir ya da birkaç baş. İletişim her katmanın içinde gerçekleştiği için yöntem yüksek bant genişliği ister ve bu yüzden bir düğüm içinde, NVLink üzerinden kullanılır; düğümler arasında ise boru hattı ve veri paralelliği devreye girer. Bu birleşim devamındaki 3D paralellik makalesinde belgelendi ve o günden beri hemen her büyük eğitim koşusunun temelinde yatıyor.