Muon
Ottimizzatore del 2024 che ortogonalizza l'aggiornamento prima di applicarlo, così che ogni direzione di una matrice di pesi riceva un passo di ampiezza grossomodo uguale.
All'origine c'è l'osservazione che l'aggiornamento del gradiente di una matrice è quasi sempre dominato da pochi valori singolari: tira forte in poche direzioni e quasi per nulla nelle altre, sprecando gran parte del passo. Muon prende il gradiente con momentum ed esegue un'iterazione di Newton-Schulz che approssima la matrice ortogonale più vicina, livellando i valori singolari. Il metodo si applica solo ai parametri bidimensionali; embedding, livelli di output e parametri monodimensionali usano ancora AdamW. Si è fatto strada con una serie di record nella NanoGPT speedrun ed è stato preso sul serio quando Moonshot AI ha addestrato Kimi K2, da mille miliardi di parametri, con una variante scalata: il primo impiego su scala di frontiera.