LLM蒸留
小さな「生徒」モデルが大きな「教師」モデルから学ぶ手法。教師の出力ロジットを使う古典的な方法(Hinton、2015年)と、教師に学習データを生成させる方法がある。
狙いは、特定のタスクで7Bの生徒に70Bの教師並みの性能を出させ、推論コストを大きく下げることだ。例としては Gemma 2B(Geminiから蒸留)、Llama 3.2 の1B/3B(より大きなLlamaから蒸留)、DistilBERT(2019年)がある。量子化とは別物で、蒸留はモデルそのものを変え、量子化は数値の精度を変える。