Поиск по лучу (beam search, LLM)
Стратегия декодирования, которая держит несколько параллельных кандидатов («лучей») и шаг за шагом их продолжает, чтобы найти наиболее вероятную последовательность целиком, а не жадно выбранное слово на каждом шаге. Распространена в машинном переводе, реже — в творческих чат-моделях.
Проблема, которую он решает: жадное декодирование (всегда брать самое вероятное следующее слово) может загнать себя в угол — локально хороший выбор приводит к худшему целому. Beam search на каждом шаге хранит B самых перспективных частичных последовательностей, продолжает их все и снова оставляет B лучших → исследуется несколько путей и находится последовательность с более высокой суммарной вероятностью. Плюс: хорош для задач с «правильным» ответом (перевод, суммаризация). Минус: в открытой, творческой генерации он часто выдаёт скучный, повторяющийся, шаблонный текст (самая вероятная последовательность редко самая интересная) → поэтому чат-модели предпочитают сэмплирование (temperature/top-p). Классический выбор между максимизацией вероятности и допущением разнообразия. Связан с nucleus-сэмплированием и жадным декодированием.