Model soup
Mediare i pesi di più fine-tuning dello stesso modello base invece di scegliere il migliore. Spesso batte il vincitore e non costa nulla in fase di inferenza.
Il punto di partenza è la situazione ordinaria dopo una ricerca di iperparametri: una dozzina di fine-tuning con learning rate e seed diversi, di cui uno solo è il migliore sul set di validazione mentre gli altri vengono buttati. Wortsman et al. hanno mostrato nel 2022 che si possono invece sommare i pesi elemento per elemento, e che il risultato generalizza spesso meglio, in particolare fuori distribuzione. La uniform soup li usa tutti; la greedy soup aggiunge un modello alla volta e lo mantiene solo se la validazione migliora, ed è la variante davvero usata. Serve un'inizializzazione condivisa: due addestramenti indipendenti finiscono in bacini di loss diversi e la loro media è inutilizzabile. La differenza rispetto a un ensemble è che la soup è un unico modello: si ottiene parte della robustezza dell'ensemble senza pagare più passaggi in avanti.