AumCrawl

機能

• 既知のクローラーの訪問を記録します。対象はクローラー名、訪問日時、要求されたページです。
• AI クローラーを二つに分類します。訪問者の流入につながりうる検索・回答サービス系（OAI-SearchBot、PerplexityBot、Claude-SearchBot）と、流入につながらないもの（GPTBot、ClaudeBot、CCBot、Bytespider、被リンク系の SEO クローラー）です。アクセス制御のスイッチは各クローラーの訪問履歴の横に表示されます。
• 各運営者が公開している逆引き DNS でクローラーの身元を確認します。GPTBot などの User-Agent はどのクライアントからでも送信できるためです。IP アドレスは保存しません。
• robots.txt を置き換えずにルールを追記します。ファイルを Yoast SEO、Rank Math、All in One SEO が生成している場合は、その旨を表示します。
• 各制御手段の強さを表示します。サーバー側の遮断ではページが返されません。robots.txt のルールは、準拠するクローラーが従う要請です。noai ヘッダーは追加費用のない、より弱いシグナルです。

想定する用途

製品カタログ、ナレッジベース、長期運営のブログなど、コンテンツを主要な資産とするサイト、およびアクセスルールを設定する前に訪問したクローラーを把握したいサイト運営者向けです。

動作要件

WordPress

5.5+

PHP

7.4+

バージョン

1.1.0

よくある質問

Google も遮断されますか。

いいえ。Googlebot、Bingbot、Facebook・X・LinkedIn のリンクプレビュー用クローラーには遮断スイッチを設けていません。遮断すると検索での表示やリンクプレビューに影響するためです。これらの訪問も記録され、Google の最新の訪問日時を確認できます。

各遮断方法の効果はどの程度ですか。

サーバー側の遮断は、身元を名乗るクローラーに適用され、ページは返されません。robots.txt のルールはプラグインに記載の運営者が尊重しますが、準拠しないクローラーへの強制力はありません。プラグインは方法ごとにこの違いを表示します。

SEO プラグインとの互換性はありますか。

あります。AumCrawl は robots.txt を置き換えずに追記します。別のプラグインがすでにそのクローラーのルールを書いている場合は、矛盾するルールを追加せず、通知を表示します。

llms.txt も生成しますか。

しません。llms.txt は AumViso などのプラグインが提供します。