Обучение по учебному плану
Подача обучающих данных в порядке «от лёгкого к трудному», а не вперемешку — по аналогии с тем, как учат людей. Работает заметно хуже, чем звучит.
Идею оформили в 2009 году, она интуитивно привлекательна, но результаты в глубоком обучении неоднозначны. При обычном обучении с учителем, достаточном объёме данных и нормально работающем оптимизаторе выигрыш практически исчезает, а часто цитируемый обзор 2020 года не нашёл почти никакого эффекта, кроме случаев зашумлённых или скудных данных. Принцип действительно важен в трёх местах: в расписании длины контекста при предобучении (в основном короткие последовательности, а длинные — ближе к концу, потому что внимание квадратично и длинные последовательности дороги); в смеси данных, упорядоченной по качеству, на фазе отжига; и в обучении с подкреплением, где задачи должны лежать вблизи текущих способностей модели, иначе сигнала просто нет.