Обучение модели
Обучение нейросети методом градиентного спуска: примеры данных, функция потерь и обратное распространение ошибки. У современных LLM — несколько этапов.
Классический конвейер: предобучение (огромный объём неразмеченных данных, получается базовая модель) → SFT (контролируемое дообучение на инструкциях) → RLHF/RLAIF (выравнивание по обратной связи людей или ИИ) → RLVR (обучение с подкреплением на проверяемых наградах, для математики и кода). Основные затраты приходятся на начало: предобучение GPT-4, по слухам, обошлось примерно в 100 млн долларов. Поздние этапы дешевле, но для качества критичны.