Régularisation Regularization
Nom collectif de tout ce qu'on fait pour empêcher un modèle de mémoriser les données d'entraînement au lieu d'en apprendre la structure. Le prix est toujours le même : un ajustement moins bon sur l'entraînement, meilleur sur les données nouvelles.
Les classiques sont L2 (weight decay, ou « décroissance des poids »), qui pénalise les poids élevés et garde le modèle lisse, et L1, qui ramène certains poids à exactement zéro et élague ainsi des variables. S'y ajoutent le dropout, qui éteint des neurones au hasard pendant l'entraînement pour que le réseau ne s'appuie pas sur des chemins particuliers, l'arrêt précoce (early stopping) quand la perte de validation se remet à monter, l'augmentation de données, qui crée davantage de variantes d'un même exemple, et le label smoothing, qui tempère l'excès de confiance. Dans les grands modèles de langage, la plupart de ces techniques comptent moins : le jeu de données est si vaste par rapport au nombre d'époques que le surapprentissage a rarement l'occasion de se produire.