Вычисления на этапе вывода
Идея тратить больше вычислений при выводе (а не при обучении): дать модели подумать подольше, сгенерировать несколько вариантов ответа и выбрать лучший.
Исследования DeepMind и OpenAI 2024 года показали, что небольшая модель с десятикратным бюджетом на вывод может обойти модель в десять раз больше при обычном декодировании. Приёмы: длинная цепочка рассуждений (o1, R1), best-of-N, поиск по дереву (ToT), модели вознаграждения за процесс.
Сдвиг изменил экономику развёртывания LLM: вывод дороже на каждый запрос, зато обучение окупается. Вся парадигма «рассуждающих моделей» — это и есть масштабирование вычислений на этапе вывода на практике.