Aprendizaje curricular
Presentar los datos de entrenamiento ordenados de fácil a difícil en vez de al azar, por analogía con cómo se enseña a las personas. Funciona bastante peor de lo que suena.
La idea se formalizó en 2009 y resulta intuitivamente atractiva, pero los resultados en aprendizaje profundo han sido notablemente dispares. En el entrenamiento supervisado corriente, con datos suficientes y un optimizador que funcione bien, la ventaja prácticamente desaparece, y una revisión de 2020 muy citada no halló casi ningún efecto salvo cuando los datos eran ruidosos o escasos. Donde el principio sí importa de forma demostrable es en tres sitios: programar la longitud de contexto durante el preentrenamiento —donde se corren sobre todo secuencias cortas y se alarga tarde, porque la atención es cuadrática y las secuencias largas salen caras—; la mezcla ordenada por calidad de la fase de recocido; y el aprendizaje por refuerzo, donde las tareas tienen que quedar cerca de la capacidad actual del modelo para que este reciba alguna señal.