Uzman yönlendirici
MoE’de her token’ın hangi uzmana gönderileceğine karar veren küçük sinir ağı. Genellikle doğrusal katman + softmax ve top-k seçimi.
Modelin geri kalanıyla uçtan uca eğitilir. Çıktı: N uzman üzerinde olasılık dağılımı; en yüksek k tanesi seçilir. MoE verimliliği için kritik; kötü yönlendirme birkaç uzmanda çöküşe yol açar (bunu yük dengeleme kaybı önler). DeepSeek-V3’te katman başına 256 uzman var ve token başına 8’i etkin.