Równoległość sekwencji
Podział aktywacji wzdłuż wymiaru sekwencji między urządzenia, aby dosięgnąć pamięci, której równoległość tensorowa nie potrafi rozdzielić.
Równoległość tensorowa dzieli mnożenia macierzy, ale zostawia niepodzielone normalizację warstw i dropout, bo działają na pojedynczych tokenach i nie mają dużych wag. W efekcie każde urządzenie trzyma pełną kopię aktywacji wokół tych operacji, a przy długich sekwencjach to właśnie ta pozycja rozsadza pamięć. Odpowiedź Megatron-LM: podzielić dokładnie te obszary wzdłuż sekwencji i zszyć je z regionami równoległymi tensorowo przez all-gather na wejściu i reduce-scatter na wyjściu — ta sama łączna objętość komunikacji co w all-reduce, które i tak wykonywałeś, więc technika jest w praktyce darmowa. Termin bywa niestety używany także do podziału samego obliczania uwagi wzdłuż sekwencji, co jest innym i trudniejszym problemem, dziś zwykle zwanym równoległością kontekstu.