Guardrails (IA)
Couches de protection autour d'un LLM qui contrôlent et limitent ce qui entre et ce qui sort — bloquer les requêtes dangereuses, filtrer les réponses inappropriées, garder le modèle sur un sujet, ou imposer un format. Une couche de sécurité distincte de l'entraînement du modèle lui-même.
Pourquoi : on ne peut pas se fier à ce que l'alignement intégré du modèle tienne toujours (jailbreaks, cas limites), donc on ajoute des contrôles externes. Types : guardrails d'entrée (détecter l'injection de prompt, les sujets interdits, les données personnelles avant qu'elles n'atteignent le modèle), guardrails de sortie (filtrer le contenu haineux ou dangereux, vérifier que la réponse reste dans les sujets autorisés, valider le format/schéma), et politiques de dialogue (contrôler de quoi le bot peut parler). Implémenté avec des règles, des classificateurs, ou un LLM « juge » séparé. Outils : NVIDIA NeMo Guardrails, Guardrails AI, Llama Guard. Compromis : des guardrails trop stricts donnent de faux refus et un frustrant « je ne peux pas vous aider avec ça » ; trop laxistes, ils laissent passer des problèmes. Standard dans les systèmes LLM en production. Lié à jailbreak et structured output.