Температура (LLM)
Параметр сэмплирования, управляющий случайностью LLM: T=0 — жадный выбор самого вероятного токена, T=1 — исходное распределение, T>1 — больше «креатива» и хаоса.
Технически логиты делятся на T перед softmax. T=0 подходит для структурированного вывода (извлечение JSON, правка кода), 0,7–1,0 — для художественных текстов, 1,5 и выше — для мозгового штурма. На практике T=0 не абсолютно детерминирован: мешают арифметика с плавающей точкой и батчинг, и один и тот же промпт может дать разные ответы. Параметр дополняют top_p (ядерное сэмплирование: берём токены, чья суммарная вероятность превышает p) и top_k (ограничение числа кандидатов). Нынешняя рекомендация — T=1 и top_p=0,9. Настоящий детерминизм требует seed (он есть у OpenAI), а не только T=0.