EAGLE
次のトークンではなく、モデル内部の特徴量を予測する投機的デコーディング。その方がずっと当てやすいことが分かっている。
出発点は、最後から二番目の層の隠れ状態の列が、トークン列よりはるかに規則的だという観察だ。トークン列にはサンプリング由来の本物のランダム性が含まれる。そこでEAGLEは小さなネットワークに次の特徴ベクトルを予測させ、さらに一歩先の確定済みトークンも入力して、サンプリングの結果が分からない不確実性を消している。
後継のEAGLE-2は、モデル自身の確信度で枝の広がりを決め、ドラフトツリーを動的にした。EAGLE-3は特徴量予測をやめ、複数層の融合による直接のトークン予測に切り替えた。この手法はSpec-Benchの比較で首位を保ち続けている。