Experten-Router (MoE)
Das kleine Netzwerk in der MoE-Architektur, das aus dem Token-Embedding vorhersagt, "zu welchem Experten dieses Token gehen soll".
Typischerweise ein einfacher Linear Layer + Softmax. Wird zusammen mit den Experten per Backpropagation trainiert. Aktuelle Routing-Entwicklungen: Noisy Top-k (zufälliges Rauschen zur Exploration), Expert-Choice-Routing (Experten wählen die Top-N-Tokens statt umgekehrt). DeepSeek-MoE führte "Shared Experts" (immer aktive Teile) und "Routed Experts" (selektiv aktive Teile) ein.