Muon
Otimizador de 2024 que ortogonaliza a atualização antes de aplicá-la, de modo que cada direção de uma matriz de pesos receba um passo de tamanho parecido.
A observação por trás dele é que a atualização de gradiente de uma matriz costuma ser dominada por um punhado de valores singulares: puxa forte em poucas direções e quase nada nas demais, desperdiçando boa parte do passo. O Muon pega o gradiente com momentum e roda uma iteração de Newton-Schulz que aproxima a matriz ortogonal mais próxima, o que uniformiza os valores singulares. O método vale só para parâmetros bidimensionais; embeddings, camadas de saída e parâmetros unidimensionais continuam com AdamW. Ele decolou com uma série de recordes no speedrun do NanoGPT e passou a ser levado a sério quando a Moonshot AI treinou o Kimi K2, de um trilhão de parâmetros, com uma variante escalada, o primeiro uso em escala de fronteira.