IT用語集 › AI & 機械学習 › ガードレール(AI)

ガードレール(AI)

AI & 機械学習 Svenska → 更新: 2026-10-23

LLMの入出力を検査し制約する保護層。有害な質問の遮断、不適切な回答の除去、話題の限定、形式の強制を担い、モデル自身の学習とは別の安全機構となる。

モデル内蔵のアラインメントがいつも効くとは限らない(ジェイルブレイクや例外的なケースがある)ため、外部に制御を足す。種類は、入力ガードレール(プロンプトインジェクション、禁止トピック、個人情報をモデルに届く前に検出)、出力ガードレール(有害・危険な内容の除去、許可された話題に収まっているかの確認、形式やスキーマの検証)、そして対話ポリシー(ボットが話してよい範囲の制御)の3つ。実装はルール、分類器、または別の「審査役」LLMで行う。

代表的なツールはNVIDIA NeMo Guardrails、Guardrails AI、Llama Guardなど。トレードオフは、厳しすぎると誤った拒否や「お手伝いできません」が増えて使いにくくなり、緩すぎると問題が素通りすること。本番のLLMシステムでは標準的な構成である。

← 用語集に戻る