繰り返しペナルティ
すでに文脈に現れたトークンの確率を下げるサンプリングパラメータ。LLMが「の、の、の…」と同じ語を繰り返すループを防ぐ。
ロジットを調整する仕組みで、トークンが既にシーケンスに含まれていれば、ロジットを係数（通常1.0〜1.3）で割る。より洗練された変種には、頻度ペナルティ（出現回数に比例）と存在ペナルティ（出たかどうかの二値）がある。
小さなモデルや調整の甘いモデルでは効果があるが、大規模な現代の指示チューニング済みモデルなら、デフォルトの1.0（オフ）にtemperatureとtop-pだけで足りることが多い。ペナルティが強すぎると、モデルは話題を支離滅裂に飛び回る。