Ortak uzman
Yönlendiricinin seçtiklerine ek olarak her token'ın geçtiği uzman. Aynı temel bilginin iki yüz kopya halinde öğrenilmesini önlemek için vardır.
Saf bir MoE mimarisinde yönlendirici token başına birkaç uzman seçer, gerisi boşta kalır. Sonuç olarak her token'ın ihtiyaç duyduğu her şey (dil bilgisi, yaygın sözcük biçimleri, genel dil yapısı) neredeyse her uzmanda bulunmak zorundadır, çünkü hangisinin seçileceği bilinmez. Bu kayda değer bir kapasite israfıdır. DeepSeekMoE bu kısmı bir ya da iki daima etkin uzmana ayırdı; böylece yönlendirilen uzmanlar gerçekten farklı olan şeylerde uzmanlaşabilir. Birkaç büyük yerine çok sayıda küçük olan ince taneli uzmanlarla birlikte mimarinin başlıca yapısal katkısıdır ve tasarım o günden beri birçok başka model ailesi tarafından benimsenmiştir.