AumCrawl

どの AI クローラーにサイトを読ませるかを決め、実際に来ているのはどれかを把握します。

本ガイドは、すでに AumCrawl を導入している方向けです。以下はすべて WordPress 管理画面の Settings → AI Crawlers にあります —— 独自のトップレベルメニューではなく、 他の設定画面と並んでいます。

AumCrawl の管理画面はどのサイトでも英語です。 UI 翻訳はまだ公開されていないため、 WordPress をどの言語に設定していても、ここで引用している英語のラベルがそのまま表示されます。

1. このプラグインは何のためのものか

いまや数十のクローラーが、さまざまな AI 製品のためにウェブを読んでいます。読者を送り返して くれるものもあれば、文章を持っていってモデルの学習に使い、何も返さないものもあります。 入ってくる経路はどれも同じで、既定ではサイトはそのすべてに応じています。

AumCrawl がするのは二つです。クローラーが見に行くファイルに、何を読んでよいかを伝える ルールを書くこと。そして、実際に誰が来たかを記録すること —— 判断の根拠が、誰かが公開した一覧ではなく、自分のサイトの実際のアクセスになるように。

力ずくで何かを遮断するものではありません。クローラーのルールは「お願い」です。 robots.txt を無視するクローラーは、どのプラグインにも止められません —— それはホスティングやファイアウォールの仕事です。AumCrawl が左右できるのは ルールを実際に読むものの振る舞いであり、重要なものの多くはそちらに属します。

2. 三つのグループ

Settings → AI Crawlers を開きます。クローラーは三つのグループに分けられており、 この分け方そのものが、この画面の主張のすべてです。

2.1 These send traffic back（流量を返してくれる）

人が質問したからそのページを読み、答えには出典としてサイトが示されます。 遮断すると訪問が減ります。

7 つのクローラー。いずれも出典を表示する製品に結び付いています。誰かがアシスタントに サイトのページで答えられる質問をしたとき、答えの中にそのリンクを載せられるのが このグループです。

2.2 These take and give nothing back（持っていくだけで何も返さない）

学習用コーパスと商用データセット。サイトのコンテンツは入っていきますが、 リンクも引用も訪問者も出てきません。

14 のクローラー。どれを遮断しても、リーチが減ることはありません。

2.3 Recorded, never switchable（記録はするが、切り替えはできない）

検索エンジンとリンクプレビュー。このプラグインは意図的にスイッチを用意しません。 一つ切ることは実害であり、それは誤って押せるボタンの後ろではなく、 自分の robots.txt に書くべきことだからです。

14 のクローラー。既定では折りたたまれています。Googlebot はこのグループにあり、 ここから遮断することはできません。 これは意図的です。サイトを Google から消すスイッチは、 いつか誰かが押します。AumCrawl はそれらの訪問も数えるので記録は完全ですが、 ルールは一切書きません。

本当に検索エンジンを除外する必要があるなら、自分の robots.txt に書いてください —— それほど重い決定は、1 クリックで済むべきではありません。

妥当な出発点： 第 1 グループを許可し、第 2 グループを遮断し、第 3 グループには触らない。 数週間後に記録を見て調整してください。

3. 実際に効いているもの

いちばん上のセクションに表示されるのは、いま実際に配信されているルールであって、 管理画面で設定したルールではありません。

この二つは食い違うことがあります。ウェブルートに実体のある robots.txt ファイルが存在する 場合、ウェブサーバーがそのファイルを返し、WordPress は尋ねられもしません —— つまり AumCrawl が書いたものは何も効きません。そうなっているときは画面がそう伝えます。 プラグインにルールを管理させたいなら、そのファイルを削除してください。

何かを変更したら、このセクションを読んでください。 クローラーが実際に受け取るものを 示す場所は、ここだけです。

4. 記録

AumCrawl は、認識しているクローラーの訪問を 1 件ずつ記録します。どれが、いつ来たか。 メイン画面がそれを要約し、各行にもそれぞれの回数と最終訪問が表示されます。

この記録が役に立つ場面：

• 決めるとき。 一度も来ていないクローラーは、考えるだけ無駄です。
• 気づくとき。 以前よりはるかに頻繁に来るようになったものは、見ておく価値があります。
• 確かめるとき。 遮断したあと、その回数は増えなくなるはずです。増え続けるなら、 そのクローラーはルールを無視しており、答えはサーバー層にあります。

一度も来ていないクローラーは Never seen と表示されます。2.3 のグループは、 他の行でスイッチがある位置に Always allowed と出ます。また、行によっては 26 could not be verified のようなバッジが付きます。これは「このクローラーだ」と 名乗った訪問がその数だけあり、その申告が積極的に否定されたという意味です。 user agent には誰でも好きな名前を書けます。

AumCrawl は二通りの方法で検証します。運営元が公開しているものが二通りだからです。 Google、Bing、Apple、百度、Yandex、Ahrefs は「自分たちのアドレスが逆引きでどの名前に 戻るか」を公開しています。OpenAI、Anthropic、Perplexity、DuckDuckGo は、 代わりに自分たちのアドレスの一覧を公開しています。両方を照合するので、 そのいずれから来た訪問も、確認するか否定するかができます。

それらの一覧はスケジュールに従ってバックグラウンドで取得されます。 誰かにページを返している最中に取りに行くことはありません —— ページの読み込みが他社のサーバーを待つべきではないからです。

それでもバッジが一度も付かない行は残ります。そしてそれが正しい状態です。 どちらも公開していない運営元については、AumCrawl は推測せず、何も言いません —— ここで推測することは、正直なクローラーに偽装の疑いをかけることであり、 サイトの持ち主がそれを見て遮断するのは当然だからです。 また、入れたばかりのサイトでは最初の数回の訪問について何も表示されません。 一覧が初めて取得されるまでのあいだです。

Start the record over は回数をゼロに戻します。意図的な変更のあとに使ってください。 新しい数字が古い数字と平均されてしまわないようにするためです。

5. 設定

Settings セクションには、クローラーごとではないスイッチが入っています。重要なのは 「AumCrawl が robots.txt を管理するかどうか」です。これをオフにすると、プラグインは ルールを一切書かずに記録だけを続けます —— 最初の数週間の過ごし方として妥当な選択です。

6. SEO プラグインと併用する

多くの SEO プラグインも robots.txt を書くと申し出ます。二つのプラグインが同じファイルを 書くということは、どちらかが勝ち、もう一方は何も言わずに何もしないということです。

どちらか一方を選んでください。この用途に AumCrawl を使うなら、もう一方のプラグインの robots 機能をオフにし、そのうえで第 3 節で実際に配信されているものを確認してください。

7. クローラー一覧

このバージョン時点で 35 件。各行の説明は管理画面に表示されるものと同じです。

7.1 These send traffic back

7.2 These take and give nothing back

7.3 Recorded, never switchable

8. トラブルシューティング

変更しても効かない。 ウェブルートにある実体の robots.txt ファイルは、 WordPress が返すどんなものよりも優先されます。第 3 節が、それが起きているときに伝えます。

遮断したクローラーが来続ける。 ルールは「お願い」です。そのクローラーは無視しています —— サーバーかファイアウォールの層で遮断してください。

Googlebot のスイッチが見つからない。 ありません。意図的です —— その行には、他の行でスイッチがある位置に Always allowed と出ます。2.3 を参照。

許可した覚えのないクローラーが記録に出る。 記録は、認識しているものすべてを対象とします。 自分のルールを持たないクローラーも含みます。

ルールを変えたあと、回数がおかしく見える。 Start the record over を使って、 変更前と変更後が平均されないようにしてください。

ある行に「could not be verified」と出る。 誰かがそのクローラーの名前を名乗りながら、 その運営元が所有していない場所から来た、ということです。回数は残りますが、 その申告は信用されません。

これは字面より狭い話で、しかも意図的にそうなっています。AumCrawl に確かめる手段が ないときには、このバッジは出ません —— その場合は何も表示されません。 出るのは「訪問者のアドレスが逆引きで名前に戻り、その名前が別人のものだった」ときだけです。

検証済みになると思っていたクローラーが、一度も検証済みにならない。 二つの可能性が あります。その運営元がどちらも公開していない場合 —— AumCrawl は勝手に作らないので、 それらの訪問は数えられ、判断は下されません。あるいは、公開されている一覧がまだ 取得されていない場合です。一覧はインストールから数時間以内にバックグラウンドで取得され、 その後は 1 日 2 回更新されます。