知識蒸留
大きな「教師」モデルを模倣するよう小さな「生徒」モデルを訓練する手法。出力だけでなく、はるかに情報量の多い出力の確率分布まで写し取る。
Hintonらが2015年に提唱。生徒の損失は、正解ラベルに対する交差エントロピーと、教師のsoftmax(「温度」で平滑化したもの)に対するKLダイバージェンスの組み合わせになる。結果として、10分の1のサイズで品質は9割ほどのモデルが得られる。
DistilBERT、Gemma(Geminiから蒸留)、TinyLlama、Mistral 7B(一部)など、最近の小型モデルの躍進を支えている。DeepSeek-R1が小型の推論モデルへ蒸留された件でも中心的な役割を果たした。