カリキュラム学習
人間の教え方になぞらえて、訓練データをランダムではなく易しいものから難しいものへ並べて与える手法。評判ほどにはうまくいかない。
この考え方は2009年に定式化され、直感的には魅力的だが、深層学習での結果はかなりまちまちだ。十分なデータと適切な最適化手法がある通常の教師あり学習では、効果はほぼ消える。よく引用される2020年のサーベイでも、データにノイズが多い場合や少ない場合を除き、ほとんど効果は見られなかった。原理が確かに効くのは三つの場面だ。第一に事前学習でのコンテキスト長のスケジューリングで、アテンションが二乗の計算量で長い系列が高価なため、大半を短い系列で回し、終盤に延ばす。第二にアニーリング段階での品質順の混合。第三に強化学習で、モデルが信号を得られるよう、課題が現在の能力に近い水準にある必要がある。