Model soup
Faire la moyenne des poids de plusieurs fine-tunes d'un même modèle de base plutôt que de choisir le meilleur. Bat souvent le gagnant et ne coûte rien à l'inférence.
Le point de départ, c'est la situation habituelle après un balayage d'hyperparamètres : une douzaine de fine-tunes avec des taux d'apprentissage et des graines différents, dont un seul est le meilleur sur le jeu de validation, tandis que les autres partent à la poubelle. Wortsman et al. ont montré en 2022 qu'on peut à la place additionner les poids élément par élément, et que le résultat généralise régulièrement mieux — surtout hors distribution. La soupe uniforme les prend tous ; la soupe gloutonne (greedy soup) ajoute un modèle à la fois et ne le garde que si la validation s'améliore, c'est la variante que l'on utilise vraiment. Elle exige une initialisation commune : deux entraînements indépendants aboutissent dans des bassins de perte différents, et leur moyenne donne n'importe quoi. La différence avec un ensemble, c'est qu'une soupe est un seul modèle — on obtient une partie de la robustesse d'un ensemble sans payer plusieurs passes avant.