Lion
Optimerare som Google hittade genom att låta en sökalgoritm leta igenom rymden av möjliga optimerare istället för att konstruera en för hand. Resultatet blev anmärkningsvärt enkelt.
Uppdateringen består av att interpolera gradienten med momentum, ta teckenfunktionen av resultatet, och gå det steget. Alla element i uppdateringen har alltså samma storlek och skiljer sig bara i riktning. Två praktiska konsekvenser följer. Eftersom bara en momentumbuffert behöver sparas, mot Adams två moment, halveras minnet som går åt till optimeraren — vilket vid stora modeller är en verklig summa. Och eftersom stegen har enhetsstorlek måste inlärningstakten sättas ungefär en tiondel av vad man är van vid, med motsvarande högre viktavklingning. Resultaten är starka på bild och konkurrenskraftiga på språk, men känsligheten för hyperparametrar har gjort att AdamW behållit sin plats i frontlinjen.