ドラフトモデル
候補トークンを生成する小型LLM。大きな「ターゲット」LLMがそれを並列に検証する。投機的デコーディングの中核で、採択率50〜80%なら品質を落とさず推論が2〜3倍速くなる。
典型的な組み合わせは、ドラフトに Llama-3-8B、ターゲットに Llama-3-70B である。ドラフトが5〜10トークン先まで生成し、ターゲットが1回のパスでまとめて検証する。すべて一致すれば全部採用し、食い違えばその手前までを採用して、以降はターゲットが生成し直す。ターゲット自身の層を切り詰めてドラフトに使う自己投機型(Medusa、Eagle)もある。vLLM、TGI、llama.cpp では2024年以降の標準機能だ。最終出力は常にターゲットが決めるので品質は変わらず、ドラフトはあくまで高速化の仕掛けである。