Ограничители (guardrails) для ИИ
Защитные слои вокруг LLM, которые проверяют и ограничивают то, что входит и выходит: блокируют вредные запросы, фильтруют неуместные ответы, удерживают модель в теме или навязывают формат. Отдельный слой безопасности поверх обучения самой модели.
Зачем: нельзя полагаться, что встроенное выравнивание модели сработает всегда (джейлбрейки, пограничные случаи), поэтому добавляют внешний контроль. Виды: входные ограничители (поиск prompt injection, запрещённых тем, персональных данных до того, как они дойдут до модели), выходные (фильтрация опасного контента, проверка, что ответ в рамках разрешённых тем, валидация формата и схемы) и диалоговые политики (о чём боту можно говорить). Реализуются правилами, классификаторами или отдельной LLM-«судьёй». Инструменты: NVIDIA NeMo Guardrails, Guardrails AI, Llama Guard. Компромисс: слишком жёсткие ограничители дают ложные отказы и раздражающее «я не могу с этим помочь», слишком мягкие пропускают проблемы. Стандарт для LLM-систем в продакшене.