Switch Transformer
Architektura MoE od Google ze stycznia 2021, która uprościła routing do jednego eksperta na token — i został pierwszym opublikowanym modelem z ponad bilionem parametrów.
Jego poprzednik, GShard, wysyłał każdy token do dwóch ekspertów, częściowo przy założeniu, że gradient potrzebuje porównania, by router w ogóle się czegokolwiek nauczył. Praca nad Switch Transformerem pokazała, że wystarczy jeden ekspert, co o połowę zmniejsza zarówno obliczenia routingu, jak i komunikację między kartami. Model osiągnął 1,6 biliona parametrów przy koszcie obliczeń na token zbliżonym do znacznie mniejszego modelu gęstego. Co najmniej tak samo wpływowe okazały się praktyczne przepisy na to, by trening MoE w ogóle się zbiegał: liczyć softmax routera z wyższą precyzją niż resztę, inicjalizować z mniejszą wariancją i stosować osobny dropout wewnątrz ekspertów. Prawie cały późniejszy trening MoE na nich się opiera.