AumCrawl

できること

• 到達した既知のクローラーを記録します。誰が、いつ、どのページを読んだか。
• AI クローラーを二つに分けます。訪問者を返す側（OAI-SearchBot、PerplexityBot、Claude-SearchBot、Google-Extended）と、返さない側（GPTBot、ClaudeBot、CCBot、Bytespider、被リンク系の SEO クローラー）。スイッチは証拠のとなりに置いてあります。
• 各社が公開している逆引き DNS で、名乗りが本物かを確認します。GPTBot を名乗る User-Agent は誰でも送れるためです。IP アドレスは保存しません。
• robots.txt を乗っ取らず、ルールを追記します。実際にそのファイルを書いているのが Yoast、Rank Math、All in One SEO の場合は、その旨を知らせます。
• 各手段の強さをそのまま書きます。入口で遮断するのは本当に届きません。robots.txt のルールはお願いです。noai ヘッダーは弱いものの、費用がかからないので用意してあります。

向いている方

コンテンツそのものが商品であるサイト。製品カタログ、ナレッジベース、何年も書き続けたブログなどです。判断する前にこそ役に立ちます。多くの運営者は、どのボットが来ているのかを知らないまま AI を遮断するかどうかを議論しているからです。

動作要件

WordPress

5.5+

PHP

7.4+

バージョン

1.0.1

よくある質問

Google も遮断されますか。

いいえ。Googlebot、Bingbot、Facebook・X・LinkedIn のリンクプレビュー用クローラーには、意図的にスイッチを用意していません。これらを止めるのは実害があり、誤って押せるボタンの後ろに置くべきではないからです。記録はされるので、Google が最後に来た日時は確認できます。

遮断は本当に効きますか。

名乗るクローラーには効きます。ページ自体が返りません。robots.txt のルールは、プラグインが挙げている運営者は尊重しますが、守らないと決めたものは守りません。プラグインはその違いを同じものとして扱わず、それぞれ明示します。

SEO プラグインと競合しませんか。

しません。robots.txt は混み合うため、置き換えではなく追記します。他のプラグインがすでにそのクローラーの行を書いている場合は、二重に矛盾する行を書かず、身を引いたうえでその旨を知らせます。

llms.txt も生成しますか。

しません。それは別の役割です。AumViso が担当していますし、他のプラグインにも同じことをするものがあります。