Switch Transformer
Google'ın Ocak 2021 tarihli MoE mimarisi; yönlendirmeyi token başına tek uzmana indirdi ve bir trilyon parametreyi aşan ilk yayımlanmış model oldu.
Öncülü GShard her token'ı iki uzmana gönderiyordu; kısmen, yönlendiricinin öğrenebilmesi için gradyanın bir karşılaştırmaya ihtiyaç duyduğu düşüncesiyle. Switch Transformer çalışması tek uzmanın yettiğini gösterdi; bu, hem yönlendirme hesabını hem de kartlar arası iletişimi yarıya indirir. Model, çok daha küçük bir yoğun modelin token başına işlem maliyetine yakın bir maliyetle 1,6 trilyon parametreye ulaştı. En az bunun kadar etkili olanlar, MoE eğitimini yakınsatmanın pratik tarifleriydi: yönlendiricinin softmax'ını geri kalanından daha yüksek hassasiyette hesapla, daha küçük varyansla başlat ve uzmanların içinde ayrı dropout uygula. Sonraki MoE eğitimlerinin hemen hepsi bunların üzerine kurulur.