アニーリング・フェーズ
事前学習の最終局面。学習率をゼロに向けて減衰させながら、データの配合を大幅に高品質なものへ切り替える。
背景にあるのは、ステップが小さく細かくなる最後の段階で見たものが、モデルの最終的な振る舞いに不釣り合いなほど大きく影響する、という観察である。コーパスを終始同じに保つのではなく、最後の数パーセントの学習で、厳選されたテキスト、教科書、数学、コード、指示文に近い合成データの比率を引き上げる。この手法はMiniCPM周辺の研究で最初に公開され、今ではほぼ全員が使っており、Llama 3やOLMoもそれぞれの変種を文書化している。その結果、事前学習と事後学習の境界は曖昧になり、まさにこの段階を指す「ミッドトレーニング」という言葉が生まれた。