モデル蒸留
大きな「教師」モデルの出力を使って、より小さく高速な「生徒」モデルを訓練する手法である。
GPT-4やClaude Opusのような大型モデルは、動かすのに費用がかかる。蒸留を使えば、知識の大部分を10分の1ほどのサイズのモデルに詰め込める。Haiku、Mini、Flashといった軽量版の背景にあるのが、この技術だ。
大きな「教師」モデルの出力を使って、より小さく高速な「生徒」モデルを訓練する手法である。
GPT-4やClaude Opusのような大型モデルは、動かすのに費用がかかる。蒸留を使えば、知識の大部分を10分の1ほどのサイズのモデルに詰め込める。Haiku、Mini、Flashといった軽量版の背景にあるのが、この技術だ。