Task arithmetic
Het verschil tussen de gewichten van een gefinetuned model en die van het basismodel behandelen als een vector die je kunt optellen en aftrekken. Verrassend vaak werkt het.
Een taakvector is simpelweg de gefinetunede gewichten min de startgewichten. De experimentele bevinding, in 2022 gepresenteerd door Ilharco et al., is dat zulke vectoren zich bijna lineair gedragen: tel de vector van een andere finetune bij het basismodel op en je krijgt een model dat die taak deels beheerst, trek hem af en het model wordt juist slechter in die taak, tel twee vectoren op en vaak krijg je iets dat beide aankan. Het is gebruikt om vermogens te combineren zonder opnieuw te trainen en om gedrag te proberen te verwijderen — trek de vector voor toxisch taalgebruik af en kijk wat er gebeurt. Waarom het werkt is niet volledig begrepen, en het verband met lineaire modusconnectiviteit en Git Re-Basin is open onderzoek. Het is ook de basis waarop elke latere mergingmethode voortbouwt.