Lion
Google'ın bir optimize edici tasarlamak yerine bir arama algoritmasının olası optimize edicileri taramasıyla bulduğu yöntem. Sonuç şaşırtıcı derecede basit çıktı.
Güncelleme, gradyan ile momentumun interpolasyonunu alıp sonucun işaret fonksiyonunu hesaplamak ve adımı buna göre atmaktan ibarettir. Böylece güncellemenin her elemanı aynı büyüklüktedir, yalnızca yönü farklıdır. İki pratik sonuç doğar. Adam'ın iki momenti yerine tek bir momentum tamponu saklandığından optimize ediciye giden bellek yarıya iner — büyük model boyutlarında bu ciddi bir tutardır. Adımlar birim boyutlu olduğundan öğrenme oranı alışılanın kabaca onda biri kadar seçilmeli, ağırlık azaltımı (weight decay) ise buna uygun olarak daha yüksek olmalıdır. Sonuçlar görüntüde güçlü, dilde rekabetçi; ancak hiperparametre duyarlılığı AdamW'nin sınırdaki yerini korumasını sağladı.