Switch Transformer
La arquitectura MoE de Google de enero de 2021 que simplificó el enrutamiento a un único experto por token — y se convirtió en el primer modelo publicado con más de un billón de parámetros.
Su predecesor, GShard, enviaba cada token a dos expertos, en parte por la teoría de que el gradiente necesitaba una comparación para que el enrutador aprendiera algo. El trabajo de Switch Transformer demostró que basta con un experto, lo que reduce a la mitad tanto el cómputo de enrutamiento como la comunicación entre tarjetas. El modelo alcanzó 1,6 billones de parámetros con aproximadamente el mismo coste computacional por token que un modelo denso mucho más pequeño. Al menos igual de influyentes fueron las recetas prácticas para lograr que el entrenamiento de MoE convergiera siquiera: calcular el softmax del enrutador con mayor precisión que el resto, inicializar con menor varianza y usar dropout independiente en cada experto. Casi todo el entrenamiento de MoE posterior se apoya en ellas.