タスク算術

タスクベクトルとは、ファインチューニング後の重みから出発点の重みを引いたものにすぎない。2022年にIlharcoらが示した実験的な発見は、このベクトルがほぼ線形に振る舞うということだ。別のファインチューニングで得たベクトルをベースモデルに足せば、そのタスクを部分的にこなすモデルになり、引けばまさにそのタスクが苦手になり、二つ足せば両方をこなすものがしばしばできる。再学習せずに能力を合成する用途と、振る舞いの除去を試みる用途（有害な言語のベクトルを引いて結果を見る）の両方に使われてきた。なぜ効くのかは完全には分かっておらず、線形モード接続やGit Re-Basinとの関係は研究途上にある。以後のあらゆるマージ手法の土台でもある。