指示チューニング
生の言語モデルを大量の「指示と回答」のペアで微調整し、文章の続きを書くだけでなく指示に従えるようにする工程。「続き書き機械」を役に立つアシスタントに変える段階である。
事前学習済みのベースモデルは次のトークンを予測するだけなので、何かを頼むと答えずに質問を並べ始めたりする。指示チューニング（教師ありファインチューニング、SFTの一種）では、多様なタスクと望ましい回答の例を大量に学習させ、「ユーザーの頼みを実行する」という振る舞いを一般化させる。チャットモデル作りの最初の一歩であり、その後にトーンや安全性を整えるRLHFやDPOなどの選好チューニングが続く。先駆けとなったのはGoogleのFLANと、ChatGPTの土台になったInstructGPTだ。選好チューニングが「どう答えるか」を比較から磨くのに対し、指示チューニングは「そもそも答える」ことを教える。