Próbkowanie (sampling)
Sposób, w jaki model językowy wybiera następny token z obliczonego rozkładu prawdopodobieństwa. Sam model jest deterministyczny — to próbkowanie sprawia, że odpowiedzi się różnią.
Najprostsze jest dekodowanie zachłanne: zawsze bierzemy najbardziej prawdopodobne słowo. Brzmi rozsądnie, ale daje płaski, powtarzalny tekst, który łatwo wpada w pętle. Dlatego logity skaluje się temperaturą, a token losuje z tak zmienionego rozkładu. Żeby nie trafić na zupełny nonsens, najpierw obcina się ogon: top-k zostawia k najbardziej prawdopodobnych, top-p (nucleus) te, które razem osiągają masę prawdopodobieństwa p, a min-p ustawia próg względem najlepszego kandydata. Kary za powtórzenia i częstość przeciwdziałają zapętleniu. Dla kodu i danych ustrukturyzowanych temperatura powinna być bliska zera, dla tekstów kreatywnych — wyższa.