Task Arithmetic Task-Vektoren
Die Differenz zwischen den Gewichten eines feinabgestimmten Modells und denen des Basismodells als Vektor zu behandeln, den man addieren und subtrahieren kann. Erstaunlich oft funktioniert das.
Ein Task-Vektor ist schlicht die feinabgestimmten Gewichte minus die Ausgangsgewichte. Der experimentelle Befund, vorgestellt von Ilharco et al. 2022, ist, dass sich solche Vektoren fast linear verhalten: Addiert man den Vektor eines anderen Fine-Tunings zum Basismodell, erhält man ein Modell, das diese Aufgabe teilweise beherrscht; subtrahiert man ihn, wird das Modell genau darin schlechter; addiert man zwei Vektoren, bekommt man oft etwas, das beide Aufgaben kann. Man hat damit sowohl Fähigkeiten ohne Neutraining kombiniert als auch versucht, Verhalten zu entfernen — den Vektor für toxische Sprache subtrahieren und schauen, was passiert. Warum das funktioniert, ist nicht vollständig verstanden, und der Zusammenhang mit linearer Modus-Konnektivität und Git Re-Basin ist offene Forschung. Es ist außerdem das Fundament, auf dem jede spätere Merging-Methode aufbaut.