Guardrails (IA)
Capas de protección alrededor de un LLM que controlan y limitan lo que entra y sale — bloquear preguntas dañinas, filtrar respuestas inapropiadas, mantener al modelo dentro de un tema, o forzar un formato. Una capa de seguridad separada, más allá del propio entrenamiento del modelo.
Por qué: no se puede confiar en que el alineamiento incorporado del modelo aguante siempre (jailbreaks, casos límite), así que se añaden controles externos. Tipos: guardrails de entrada (detectar inyección de prompts, temas prohibidos, PII antes de que llegue al modelo), guardrails de salida (filtrar contenido odioso o peligroso, comprobar que la respuesta se mantiene en los temas permitidos, validar formato/esquema) y políticas de diálogo (controlar de qué puede hablar el bot). Se implementan con reglas, clasificadores o un LLM «juez» independiente. Herramientas: NVIDIA NeMo Guardrails, Guardrails AI, Llama Guard. Compromiso: unos guardrails demasiado estrictos producen falsos rechazos y el frustrante «no puedo ayudarte con eso»; unos demasiado laxos dejan pasar problemas. Estándar en sistemas LLM de producción. Relacionado con jailbreak y structured output.