Дообучение (LLM)
Дополнительное обучение уже предобученной языковой модели на собственных, более специфичных данных, чтобы приспособить её к задаче, области или стилю. Меняет веса модели — в отличие от RAG (знания через контекст) и промптинга (только инструкции).
Когда оправдано: научить модель формату или тону, которого она должна стабильно придерживаться, языку узкой области или конкретной задаче — тому, что трудно стабилизировать одним промптом. Когда НЕ оправдано: «научить модель фактам» (для меняющихся знаний RAG обычно лучше и дешевле). Компромиссы: нужны качественные данные, расходуются вычисления, есть риск «катастрофического забывания» (потери общих способностей) и переобучения. Полное дообучение (всех весов) дорого, поэтому доминируют параметрически эффективные методы (LoRA, QLoRA, PEFT), обучающие лишь малую часть. Не путать с предобучением (созданием базовой модели с нуля). Центральная техника, но её часто применяют там, где хватило бы RAG или промптинга.