Logit bias
Parametr pozwalający ręcznie podnieść lub obniżyć prawdopodobieństwo wybranych tokenów w odpowiedzi LLM — by wymusić albo całkowicie zakazać pewnych słów lub symboli. Toporne, ale bezpośrednie narzędzie sterowania generowaniem.
Mechanizm: przed próbkowaniem wartość biasu jest dodawana do logitu (surowego wyniku) wybranych tokenów. Duża wartość dodatnia sprawia, że token jest niemal nieunikniony; duża ujemna (np. −100) czyni jego wybór praktycznie niemożliwym. Zastosowania: zakazanie określonych słów, wymuszenie odpowiedzi spośród kilku możliwości (np. tylko „tak”/„nie” lub etykieta klasy), unikanie znaku formatującego, tłumienie powtórzeń. Ograniczenie: działa się na poziomie tokenów (nie całych słów czy pojęć — słowo może składać się z kilku tokenów), więc jest to kłopotliwe i toporne w porównaniu ze strukturalnym wyjściem i dekodowaniem z ograniczeniami. Dostępne w API OpenAI i innych. Niskopoziomowe narzędzie z czasów sprzed upowszechnienia strukturalnego wyjścia.