Mirostat
Samplingmetod som styr textens perplexitet med en återkopplingsslinga istället för ett fast tröskelvärde. Man anger hur överraskande texten ska vara, och algoritmen justerar sig löpande.
Utgångspunkten i artikeln från 2020 är att både top-k och top-p ger en perplexitet som driver under långa genereringar — för lågt värde leder till upprepningsslingor, för högt till osammanhängande text. Mirostat mäter istället hur överraskande varje vald token faktiskt var, jämför med målvärdet tau och justerar avskärningen uppåt eller nedåt med inlärningstakten eta. Resultatet är en regulator som håller texten på en jämn nivå oavsett hur säker modellen är i just det stycket. Populär i lokala uppsättningar genom llama.cpp och Ollama, särskilt för långa skönlitterära texter. Numera ofta ersatt av min-p, som är enklare och nästan lika bra.