※当オフィスはエックスサーバーのビジネスパートナーです。本記事のお申し込みリンクを経由してご契約いただいた場合、当オフィスに報酬が発生します。
結論から言います。
XServer for WordPressの「AIクローラー遮断設定」をONにすると、AIの学習用だけでなく、ChatGPTの検索で自社サイトを表示するためのクローラーもまとめて遮断されます。集客にAI検索も使いたい会社は、ONにする前に考える必要があります。
この設定は初期状態でOFF、ドメインごとにON/OFFを切り替えます。
遮断されるAIクローラー
公式マニュアルに掲載されている遮断対象は次のとおりです（2026年9月時点）。
GPTBot ChatGPT-User OAI-SearchBot ClaudeBot Claude-User Claude-SearchBot anthropic-ai claude-web Google-Extended meta-externalagent CCbot SBIntuitionsBot PerplexityBot MistralAI-User Bytespider cohere-ai cohere-training-data-crawler img2dataset ChatGLM-Spider AI2Bot sider.ai TheKnowledgeAI
対象は動向に応じて随時見直されるとされています。
また、情報を偽装したアクセスや対象外のAIクローラーは遮断されない場合があるとも明記されています。
「学習」と「検索」は別のクローラー
AI事業者の中には、用途ごとにクローラーを分けているところがあります。
OpenAIの公式ドキュメントでは、次のように説明されています。
| クローラー | 用途 | 遮断すると |
|---|---|---|
| GPTBot | 生成AIモデルの学習に使われ得るコンテンツの収集 | 学習に使わないでほしいという意思表示になる |
| OAI-SearchBot | ChatGPTの検索機能での表示 | ChatGPTの検索回答に表示されなくなる（ナビゲーション用のリンクとしては表示され得る） |
| ChatGPT-User | ユーザーの操作をきっかけとしたページ訪問 | 検索への表示可否の判断には使われない |
OpenAIは、OAI-SearchBotは許可してGPTBotは拒否する、という個別の設定もできると説明しています。
ところがXServer for WordPressの遮断設定はON/OFFの1つのスイッチです。
ONにすると、学習用も検索用も一緒に遮断されます。
Google検索には影響しない
一覧にある Google-Extended について、Googleの公式ドキュメントでは
Google検索でのサイトの登録やランキングには影響しないと説明されています。
Google-Extendedは、Geminiモデルの学習や、Geminiアプリでのグラウンディングに
サイトのコンテンツを使わせるかどうかを管理するためのトークンです。
通常のGoogle検索用のクローラーは、この遮断一覧に入っていません。
ONにするか、OFFのままにするか
| サイトの性格 | 考え方 |
|---|---|
| 有料記事・独自の研究データ・写真やイラストが商品 | ONを検討。無断利用のリスクを減らす方を優先 |
| 会員向け・社内向けの情報が中心 | ONを検討（そもそもログイン等で保護する） |
| 問い合わせを増やしたい企業サイト・サービス紹介 | OFFのままを検討。AI検索での紹介機会を残す |
| 学習は拒否したいが、AI検索には出たい | この設定はOFFにして、robots.txtで個別に制御 |
robots.txtは、クローラー側が従うことを前提にしたルールです。
サーバーで遮断する今回の設定とは強さが違うので、守りたいものの重要度で選び分けます。
OpenAIのドキュメントでは、robots.txtの変更が検索結果に反映されるまで
約24時間かかることがあるとされています。
設定の場所
WPパネルで対象サイトの設定画面を開き、
「サーバー管理ツール」＞「AIクローラー遮断設定」で、ドメインごとにON/OFFを切り替えます。
同じ「アクセスを止める」系の設定として、国外アクセス制限もあります。
こちらは管理画面など特定の場所への国外アクセスを止めるもので、目的が違います。
➡ XServer for WordPressの国外アクセス制限で管理画面に入れない・保存できないとき
まとめ
✔ AIクローラー遮断設定は初期OFF・ドメインごと
✔ ONにすると学習用も検索用も一緒に遮断
✔ OAI-SearchBotを遮断するとChatGPTの検索回答に出なくなる
✔ Google-Extendedの遮断はGoogle検索に影響しない
✔ 用途別に分けたいならrobots.txtで個別に制御
AI検索での見え方を踏まえたサイト設計や、robots.txtの設定は当オフィスでも承っています。
➡ お問い合わせ
出典
- AIクローラー遮断設定（XServer for WordPress公式マニュアル）
- Overview of OpenAI Crawlers（OpenAI公式ドキュメント）
- Google の一般的なクローラ（Google公式ドキュメント）
仕様は2026年9月時点の各公式ドキュメントの記載にもとづきます。遮断対象のクローラーや各社の扱いは変更される場合があるため、設定前に公式情報をご確認ください。