Switch Transformer
Googleが2021年1月に発表したMoEアーキテクチャ。ルーティングをトークンあたり1エキスパートまで単純化し、1兆パラメータを超える最初の公開モデルになった。
前身のGShardは、各トークンを2つのエキスパートに送っていた。ルーターが学習するには、勾配に比較の材料が要るという理屈もあった。Switch Transformerの研究は、1つで足りることを示した。これでルーティングの計算も、カード間の通信も半分になる。モデルは1.6兆パラメータに達しながら、トークンあたりの計算量は、はるかに小さい密なモデルと同程度だった。
それ以上に影響が大きかったのは、MoEの学習を収束させる実践的な手法だ。ルーターのsoftmaxを他より高い精度で計算し、初期化の分散を小さくし、エキスパート内部に別のドロップアウトをかける。その後のMoE学習のほとんどは、これらを土台にしている。