モデルスープ
同じベースモデルから作った複数のファインチューニング結果の重みを、最良のものを選ぶ代わりに平均する手法。勝者を上回ることが多く、推論コストはかからない。
出発点は、ハイパーパラメータ探索の後のありふれた状況だ。学習率やシードの違う十数個のモデルのうち、検証セットで最良のものだけが残り、あとは捨てられる。Wortsmanらは2022年に、重みを要素ごとに足し合わせるほうがよいことを示した。特に分布外のデータで、汎化性能が上がることが多い。uniform soupは全モデルを使い、greedy soupは1つずつ加えて検証性能が上がる場合だけ残す。実際に使われるのは後者である。
共通の初期化が前提で、独立に学習した2つのモデルは別の損失の谷に落ちるため、平均するとゴミになる。アンサンブルとの違いは、スープが1つのモデルだという点だ。順伝播を何度も払わずに、アンサンブルの頑健さの一部が手に入る。