Конституционный ИИ
Метод обучения от Anthropic, при котором LLM учится следовать письменной «конституции» (набору принципов), критикуя и переписывая собственные ответы, — без ручной разметки каждого примера людьми.
Два этапа: (1) обучение с учителем, где модель генерирует ответ, критикует его по принципам и переписывает; (2) RLAIF — обучение с подкреплением на обратной связи от ИИ, где отдельная модель выбирает лучший из ответов по тем же принципам.
Масштабируется лучше чистого RLHF (меньше человеческой разметки), а ценности становятся проверяемыми: конституцию можно прочитать. Используется в семействе Claude с 2022 года.