ガードレール
LLMが不適切な出力をしたり、不適切な入力を受け付けたりしないようにする保護層。
モデルの前後で動く分類器、パターンルール、出力の検証、ブロックリストなどで構成される。ツールにはNVIDIA NeMo Guardrails、Guardrails.ai、Azure Content Safetyがある。モデル自身のRLHFによる訓練を補うものである。
LLMが不適切な出力をしたり、不適切な入力を受け付けたりしないようにする保護層。
モデルの前後で動く分類器、パターンルール、出力の検証、ブロックリストなどで構成される。ツールにはNVIDIA NeMo Guardrails、Guardrails.ai、Azure Content Safetyがある。モデル自身のRLHFによる訓練を補うものである。