Mirostat
固定の閾値ではなく、フィードバックループでテキストのパープレキシティを制御するサンプリング手法。「どれくらい意外なテキストにしたいか」を指定すると、アルゴリズムが生成しながら調整する。
2020年の論文の前提は、top-kもtop-pも長い生成の中でパープレキシティがずれていくという点にある。低すぎれば繰り返しのループに、高すぎれば支離滅裂になる。Mirostatは、選んだトークンが実際にどれだけ意外だったかを測り、目標値tauと比べて、学習率etaで打ち切りの位置を上下させる。モデルがその箇所にどれだけ自信を持っていようと、テキストを一定の水準に保つ制御器になっている。llama.cppやOllamaを通じてローカル環境で人気になり、特に長編フィクションで使われた。現在はより単純でほぼ同等のmin-pに取って代わられることも多い。