ロジットバイアス
LLMの出力で特定トークンの確率を手動で上げ下げするパラメータ。特定の語や記号を強制したり、完全に禁止したりできる。粗いが直接的な生成制御の手段。
仕組みは、サンプリングの前に指定したトークンのロジット（生のスコア）へバイアス値を加算するというもの。大きな正の値ならそのトークンはほぼ確実に選ばれ、大きな負の値（-100など）なら事実上選ばれなくなる。用途は、特定の語の禁止、回答を「はい／いいえ」やクラス名など数個の選択肢に限定すること、書式文字の回避、繰り返しの抑制など。制約は、操作がトークン単位で、単語や概念単位ではない点だ。1語が複数トークンになることもあり、扱いは面倒で、構造化出力や制約付きデコーディングと比べると大雑把である。OpenAI APIなどで提供されている。構造化出力が普及する前の低レベルな道具といえる。