データミックス
学習コーパスに各データ源をどんな比率で入れるか。言語モデル開発で最も重要なのに、最も公表されない決定の一つ。
事務的な問いに聞こえるが、そうではない。Webテキストとコードをどの割合にするか、書籍や論文をどれだけ入れるか、何言語をどんな比率で扱うか。いくつかの結果はよく裏付けられている。小規模で最適な比率が大規模でも最適とは限らないため、安く調整してそのままスケールさせることはできない。高品質なデータの繰り返しはしばらくは効くが、やがて逆に有害になる。コードを混ぜると、プログラミングと無関係なタスクでも推論能力が測定可能なほど向上する。
重みを決める方法は、手作業の調整から、小さなプロキシモデルに最悪ケースを最小化する配分を探させる学習ベースの手法まで幅広い。最先端の研究所は、自社の正確な配合を企業秘密として扱っている。