TIES-Merging
Een methode om meerdere gefinetunede modellen tot één te versmelten, gebaseerd op het inzicht dat het meeste van een finetuning-delta ruis is en dat de rest vaak in tegengestelde richtingen trekt.
De naam is een afkorting van de drie stappen. Trim verwijdert de parameters die het minst bewogen: in de praktijk kan een vijfde van de delta overblijven zonder dat capaciteit verloren gaat, wat veel zegt over hoe ijl een finetune eigenlijk is. Elect Sign bepaalt per parameter welk teken wint, door de groottes van de positieve en de negatieve voorstellen op te tellen en de zwaarste kant te laten winnen. Merge middelt daarna alleen de modellen die het met het winnende teken eens waren. Die tweede stap is de kern: bij naïef middelen van gewichten heffen twee modellen die dezelfde parameter in tegengestelde richting willen verschuiven elkaar op, en daarom kwamen merges vroeger slechter uit dan hun onderdelen. Gepubliceerd op NeurIPS 2023 en sindsdien standaard in tools voor model merging.