Regolarizzazione
Il nome collettivo di tutto ciò che si fa per impedire a un modello di memorizzare i dati di addestramento invece di imparare lo schema che li governa. Il prezzo è sempre lo stesso: un adattamento peggiore sui dati di training, uno migliore su quelli nuovi.
I classici sono la L2 (weight decay), che penalizza i pesi elevati e mantiene il modello regolare, e la L1, che porta i pesi esattamente a zero e quindi elimina le feature superflue. Si aggiungono il dropout, che spegne casualmente dei neuroni durante l'addestramento affinché la rete non dipenda da singoli percorsi, l'early stopping, che interrompe quando la loss di validazione comincia a salire, la data augmentation, che crea varianti dello stesso esempio, e il label smoothing, che attenua l'eccesso di sicurezza. Nei grandi modelli linguistici la maggior parte di questi accorgimenti conta meno: il dataset è così vasto rispetto al numero di epoche che l'overfitting ha raramente occasione di manifestarsi.