Lion

更新の中身は、勾配をモメンタムと補間し、その結果の符号関数を取り、その分だけ進めるというものだ。したがって、更新の各要素は大きさが同じで、向きだけが異なる。実用上の帰結が2つある。1つは、保持するモメンタムのバッファが1つで済む(Adamは2つのモーメント)ため、オプティマイザのメモリが半分になることで、モデルが大きいと無視できない量になる。もう1つは、ステップが単位サイズなので、学習率をいつもの10分の1程度に設定し、それに応じて重み減衰を大きくする必要があることだ。視覚タスクでは強く、言語タスクでも遜色ない結果が出ているが、ハイパーパラメータへの敏感さのせいで、フロンティアではAdamWが座を守っている。