robots.txt

Web 更新: 2026-10-21

サイトのルートに置くテキストファイルで、Webクローラー（Googlebot、Bingbotなど）にインデックスしてよい範囲を伝える。

たとえば Disallow: /admin/ のように書く。守るかどうかは相手の善意次第で、悪意のあるボットは無視する。セキュリティではなく礼儀にすぎない。インデックス登録の防止にもならず、それにはnoindexメタタグを使う。