Curriculum learning
Presentare i dati di addestramento in ordine dal facile al difficile anziché a caso, per analogia con il modo in cui si insegna agli esseri umani. Funziona molto meno bene di quanto sembri.
L'idea fu formalizzata nel 2009 ed è intuitivamente attraente, ma i risultati nel deep learning sono stati molto contrastanti. Nel normale addestramento supervisionato, con dati sufficienti e un ottimizzatore che funziona bene, il beneficio in gran parte scompare, e una rassegna del 2020 spesso citata non trovò quasi alcun effetto se non dove i dati erano rumorosi o scarsi. Il principio conta in modo dimostrabile in tre casi: la pianificazione della lunghezza del contesto nel pretraining, con sequenze per lo più corte e allungate solo verso la fine perché l'attenzione è quadratica e le sequenze lunghe costano; la miscela ordinata per qualità della fase di annealing; e l'apprendimento per rinforzo, dove i compiti devono essere vicini alle capacità attuali del modello perché questo riceva un segnale.