Medusa
別のドラフトモデルを使わない投機的デコーディング。モデルに予測ヘッドを数本追加して、数トークン先を同時に推測させる。
従来の投機的デコーディングは、提案を作る小さなモデルを必要とする。つまり2つのモデルを学習し、配備し、メモリに載せておかなければならない。2024年に発表されたMedusaは、凍結した本体モデルの最終層の上に、軽量な予測ヘッドを何本か載せる。各ヘッドは2、3、4ステップ先の位置を推測し、その組み合わせが候補の続きの木を作る。この木を、専用のアテンションマスクを使って1回の順伝播で検証する。モデルがどのみち出力したはずのものと一致する部分は残し、残りは捨てる。したがって出力は通常のデコーディングと同一である。典型的な高速化は2〜3倍で、代償は数個の追加パラメータだけだ。