AIのクローラーを止めていない？robots.txtの確認方法｜GPTBot・OAI-SearchBot・ClaudeBotの違い

記事やFAQを整えても、ChatGPTやPerplexityの回答に自社のページがまったく出てこない。そんなとき、意外と見落とされているのが、robots.txtやサーバーの設定でAIのクローラー（ページを読みに来るプログラム）を止めてしまっているケースです。

この記事では、AIの会社ごとのクローラーの違いと、自社サイトの確認方法、AIの学習には使われたくないが検索には表示されたいときの書き方を、自社サイトと支援先でLLMO対策を運用しているCES UPの取締役CAIO、灰藤が解説します。

AIのクローラーには「検索用」と「学習用」がある

AIの会社は、目的ごとに別々のクローラーを使っています。大きく分けると、AIの検索結果にページを表示するためのクローラーと、AIのモデルの学習に使うデータを集めるクローラー、そしてユーザーの質問に応じてその場でページを読みに行くものがあります。

それぞれの設定は独立しています。例えばOpenAIは、OAI-SearchBotを許可して検索には表示しつつ、GPTBotを止めて学習には使わせない、という設定ができると説明しています。

ChatGPTの検索に表示されたいなら、OAI-SearchBotを止めない

OpenAIは、ChatGPTの検索結果にサイトを表示したい場合、robots.txtでOAI-SearchBotを許可することを推奨しています。OAI-SearchBotを止めたサイトは、ChatGPTの検索の回答には表示されないと説明されています（ナビゲーション用のリンクとして出ることはあります）。

Anthropicも、Claude-SearchBotを止めると検索のためのインデックスに入らず、ユーザーの検索結果での見え方が下がる可能性があると説明しています。Perplexityは、PerplexityBotがPerplexityの検索結果にサイトを表示・リンクするためのクローラーだとしています。

Googleの場合、AIによる概要やAIモードに表示されるには、通常の検索と同じくGooglebotにページを読まれ、インデックスされていることが前提です。Google-Extendedは、Googleの検索への掲載や順位には影響しないと説明されています。

自社サイトの確認方法：robots.txtを開いてみる

確認はかんたんです。ブラウザで「https://自社のドメイン/robots.txt」を開きます。例えばCES UPのrobots.txtは次のとおりです（2026年10月時点）。

「User-agent: *」はすべてのクローラーへの指示、「Disallow:」は読んではいけない場所です。CES UPは、WordPressの管理画面だけを止め、それ以外はすべてのクローラーに公開しています。

次のような書き方がある場合は注意が必要です。

• OAI-SearchBot・Claude-SearchBot・PerplexityBotに「Disallow: /」がある：そのAIの検索に表示されにくくなります
• 「User-agent: *」に「Disallow: /」がある：AIだけでなく、Googleなどすべての検索エンジンに読まれなくなります。サイト公開前の設定が残っていることがあります
• robots.txtが開けない、エラーになる：サーバーの設定を確認します

robots.txt以外で止めているケースもある

robots.txtに問題がなくても、サーバーやCDN（配信サービス）の設定で、AIのクローラーを止めていることがあります。

• CDNの「AIボットをブロック」設定：例えばCloudflareは2025年7月、新しく利用する顧客のサイトで、AIのクローラーを初期設定でブロックする方針を発表しました。サイトの制作会社がCDNを使っている場合は、設定を確認してもらいましょう
• セキュリティ系のプラグインやWAF：不審なアクセスを止める機能で、AIのクローラーまで止めていることがあります
• IPアドレスでのブロック：Anthropicは、IPアドレスでブロックするとrobots.txtを読めなくなるため、推奨していないと説明しています

自社でサーバーの管理画面を見られない場合は、制作会社やサーバーの管理者に「AIの検索用クローラー（OAI-SearchBotなど）を止める設定がないか」を確認してもらうのが確実です。

学習には使われたくない場合の書き方

「AIの検索には表示されたいが、AIの学習には使われたくない」という場合は、学習用のクローラーだけを止めます。

GPTBotはOpenAI、ClaudeBotはAnthropicの学習用のクローラーです。Google-Extendedは、Googleがクロールした内容をGeminiのモデルの学習などに使うかどうかを伝えるための目印で、Googleの検索への掲載や順位には影響しないと説明されています。

なお、ChatGPT-UserやPerplexity-Userのように、ユーザーの依頼でその場でページを読むものは、robots.txtのルールが適用されない場合があると各社が説明しています。

よくある質問

まとめ

LLMO対策で記事や会社情報を整えても、AIのクローラーを止めていては効果が出ません。まずは自社のrobots.txtを開き、OAI-SearchBotなどの検索用クローラーを止めていないか、サーバーやCDNでブロックしていないかを確認してください。学習に使われたくない場合は、学習用のクローラーだけを止める書き方ができます。

CES UPでは、robots.txtやサーバー設定の確認も含めたLLMO対策を行っています。まずは無料のAI検索診断で、御社の現状を確認してみてください。