Guardrails (KI)
Schutzschichten um ein LLM, die kontrollieren und einschränken, was hinein- und herausgeht — schädliche Anfragen blockieren, unpassende Antworten filtern, das Modell bei einem Thema halten oder ein Format erzwingen. Eine zusätzliche Sicherheitsschicht über dem eigentlichen Training des Modells.
Warum: Man kann sich nicht darauf verlassen, dass das eingebaute Alignment eines Modells immer hält (Jailbreaks, Grenzfälle), also kommen externe Kontrollen hinzu. Typen: Input-Guardrails (erkennen Prompt Injection, verbotene Themen und personenbezogene Daten, bevor sie das Modell erreichen), Output-Guardrails (filtern hasserfüllte oder gefährliche Inhalte, prüfen, ob die Antwort im erlaubten Themenbereich bleibt, validieren Format und Schema) sowie Dialog-Policies (steuern, worüber der Bot überhaupt sprechen darf). Umgesetzt mit Regeln, Klassifikatoren oder einem separaten „Richter"-LLM. Werkzeuge: NVIDIA NeMo Guardrails, Guardrails AI, Llama Guard. Abwägung: zu strenge Guardrails führen zu falschen Ablehnungen und frustrierenden „Dabei kann ich nicht helfen"-Antworten, zu lockere lassen Probleme durch. Standard in produktiven LLM-Systemen. Verwandt mit Jailbreak und Structured Output.