WordPress サイトを読む AI crawler を確認し、選んだ crawler をブロックする方法

ブロックする前に確認

多くの「AI をブロックする」案内はすべてを一括で止めますが、そこは少し慎重に考える部分です。AI crawler は同じ動きをするわけではなく、ログ上は似て見える 2 つでも、止めたときの結果が正反対になることがあります。

• 訪問を返してくるものがあります。 OAI-SearchBot、PerplexityBot、Claude-SearchBot は、誰かが質問したときにページを取得し、その回答にサイトへのリンクが含まれることがあります。ブロックすると、その訪問機会を失います。
• 取得するだけで訪問を返さないものがあります。 GPTBot、ClaudeBot、CCBot、Bytespider は、コンテンツを学習コーパスや商用データセットに取り込みます。リンク、引用、訪問者は返しません。
• crawler ではないものもあります。 Google-Extended と Applebot-Extended はリクエストを送りません。すでにクロールされたコンテンツの利用方針を示す robots.txt token です。そのためログには決して現れず、設定が効いていないと誤解されやすい理由でもあります。

各 crawler がどのグループに属するかは、運営元自身の説明とともに AI crawler reference にまとめています。crawler ごとに 1 ページあり、運営元の表現、ブロックすると何に影響するか、訪問をどう検証するかを掲載しています。

実際に来た相手を記録

Plugins 画面から AumCrawl をインストールし、Settings → AI Crawlers を開きます。サイトに到達した既知の crawler を、AI、検索エンジン、SEO ツール、リンクプレビューを含めて記録し、誰が、いつ、どのページを読んだかを表示します。

1. プラグインをインストールして有効化したら、数日間そのまま動かします。空のログだけで判断するのは推測です。
2. Settings → AI Crawlers を開き、アクティビティ一覧で、誰が来たか、どの程度の頻度か、どのページを読んだかを確認します。
3. 最も多くクロールされたページを確認します。1 つのセクションだけを読む crawler と、サイト全体を読む crawler では判断が異なります。
4. その後で、どの crawler を失ってよいかを決めます。

各制御が実際に行うこと

設定画面では制御を 3 種類に分けています。その違いがこの機能の中心です。

• robots.txt のルール：robots.txt を尊重すると表明している crawler には従われますが、無視する crawler には効きません。これは依頼であって、柵ではありません。
• ブロック対象の crawler を入口で拒否：最も強い方法で、ページ自体を返しません。ただし、自分が何者かを名乗る crawler に対してのみ有効です。
• 「この内容を学習に使わない」注記：X-Robots-Tag: noai という慣例です。弱い制御で、一部のツールは読みますが、多くは読みません。追加コストがないため、この選択肢も用意しています。

画面の What is actually in effect は、ルールが効いたと仮定しません。公開中の robots.txt を取得して実際の内容を確認します。別のプラグインがファイルを置き換えている場合や、ディスク上に robots.txt が存在する場合はその事実を表示し、どのプラグインが担当しているかを示し、代わりに貼り付ける正確な行を案内します。

訪問が本物か確認

誰でも User-Agent: GPTBot を送れます。Identity checks は、各運営元が公開している hostname と照合し、forward-confirmed reverse DNS を使って名乗りを検証し、確認できなかった訪問を表示します。

Found: GPTBot        → verified   (resolves to an OpenAI host, and back again)
Found: GPTBot        → unverified (no published method, or the check failed)

すべての運営元が検証方法を公開しているわけではありません。方法がない場合、その crawler を名乗る訪問は確認も否定もできません。これは「偽装だった」とは別の意味です。各 crawler の参照ページで、どちらに当たるかを説明しています。

IP アドレスは保存しません。 アドレスはその 1 回のリクエスト内でのみ使用し、その後破棄します。検証に失敗した場合は、末尾を削った短いネットワーク範囲だけを保持します。これにより、具体的な接続元を記録せずに、ある範囲が crawler を偽装していることを把握できます。

ブロックできない対象

Googlebot、Bingbot、Facebook・X・LinkedIn のリンクプレビューを生成する crawler には、意図的にスイッチを用意していません。これらを止めると実際の影響が大きいため、誤操作できるボタンではなく、自分の robots.txt で扱うべき設定です。ただし記録はされるため、Google が最後に来た時刻などは確認できます。