Switch Transformer
Googles MoE-arkitektur från januari 2021 som förenklade routingen till en enda expert per token — och blev den första publicerade modellen med över en biljon parametrar.
Föregångaren GShard skickade varje token till två experter, delvis av teorin att gradienten behövde en jämförelse för att routern skulle lära sig något alls. Arbetet bakom Switch Transformer visade att en expert räcker, vilket halverar både routingberäkningen och kommunikationen mellan korten. Modellen nådde 1,6 biljoner parametrar med ungefär samma beräkningskostnad per token som en långt mindre tät modell. Minst lika inflytelserika var de praktiska recepten för att över huvud taget få MoE-träning att konvergera: räkna routerns softmax i högre precision än resten, initiera med mindre varians, och använda separat dropout i experterna. Nästan all senare MoE-träning bygger vidare på dem.