グリーディデコーディング
LLMのサンプリング戦略のひとつで、常に確率が最も高いトークンを選ぶ。temperature=0かつtop_k=1と等価で、決定的であり、プロンプトから答えへの最短経路になる。事実確認やコード生成の標準的な設定である。
トレードオフとして、グリーディは「局所最適」にすぎず、全体ではより良い系列を逃すことがある。文の途中でありふれたトークンを選ぶと、後続トークンの確率が下がる場合があるためだ。代替のビームサーチは、上位N個の候補を並行して展開し、合計確率が最良のものを残す。品質は上がるが、計算コストは3〜5倍になる。temperature>0のサンプリングは、ばらつきと多様性を生むので創作向きだ。現代のLLMの出力は両者の混合であることが多く、コードブロックはグリーディ、導入や説明の文はサンプリングという具合である。JSONモードは、グリーディに文法制約を組み合わせたものだ。