Regularisering Regularization
Samlingsnamn för allt man gör för att hindra en modell från att memorera träningsdatan istället för att lära sig mönstret. Priset är alltid detsamma: sämre passform på träningsdatan, bättre på ny data.
Klassikerna är L2 (viktavklingning), som straffar stora vikter och håller modellen slät, och L1, som driver vikter mot exakt noll och därmed gallrar bort särdrag. Till det kommer dropout, som slumpmässigt stänger av neuroner under träning så att nätverket inte kan förlita sig på enskilda vägar, tidigt avbrott när valideringsförlusten börjar stiga, dataaugmentering som skapar fler varianter av samma exempel, och label smoothing som dämpar övertro. I stora språkmodeller spelar de flesta av dessa mindre roll — datamängden är så stor i förhållande till antalet epoker att överanpassning sällan hinner uppstå.