Equilibrado de carga sin pérdida auxiliar
Equilibrar la carga entre expertos en un modelo MoE con un término de bias ajustable en lugar de una penalización en la función de pérdida.
El método establecido agrega una pérdida auxiliar penalizando distribución desigual entre los expertos. Funciona, pero compite con lo que realmente quieres entrenar: el gradiente tira parcialmente hacia mejor modelado de lenguaje y parcialmente hacia estadísticas más iguales, y lo último cuesta mensurablemente en calidad del modelo. El enfoque sin pérdida auxiliar ajusta el término de bias de enrutamiento en su lugar — sin sacrificar el desempeño en tareas principales. Técnicamente más limpio pero requiere búsqueda de hiperparámetros cuidadosa.