如何查看哪些 AI crawler 正在读取您的 WordPress 网站，并屏蔽您选择的 crawler

先观察，再屏蔽

很多“屏蔽 AI”的建议会直接全部屏蔽，这一步值得放慢一些。不同 AI crawler 的行为并不相同，日志里看起来相似的两个 crawler，关闭后可能带来完全不同的结果。

• 有些会带来访问者。 OAI-SearchBot、PerplexityBot 和 Claude-SearchBot 会在有人提出问题时抓取页面，答案中可能带有指向您网站的链接。屏蔽它们会失去这类访问。
• 有些只抓取内容，不带回访问。 GPTBot、ClaudeBot、CCBot 和 Bytespider 会把内容用于训练语料或商业数据集，不会带回链接、引用或访客。
• 有些根本不是 crawler。 Google-Extended 和 Applebot-Extended 不会主动发送请求，它们是 robots.txt token，用来表达对已经抓取内容的使用偏好。因此您永远不会在日志中看到它们，这也正是很多人误以为设置没有生效的原因。

每个 crawler 属于哪一类，可以在 AI crawler reference 中查看其运营方自己的说明。每个 crawler 都有独立页面，包含运营方原文、屏蔽后影响什么，以及如何核实一次访问。

记录实际访问者

从 Plugins 页面安装 AumCrawl，然后打开 Settings → AI Crawlers。它会记录到达网站的已知 crawler，包括 AI、搜索引擎、SEO 工具和链接预览，并显示谁来了、何时访问以及读取了哪些页面。

1. 安装并启用插件，然后先运行几天。基于空日志做决定只是猜测。
2. 打开 Settings → AI Crawlers 查看活动列表：谁访问了、频率如何、读取了哪些页面。
3. 查看被抓取最多的页面。一个只读取某个栏目的一次 crawler，与一个遍历全站的 crawler，需要不同判断。
4. 完成这些观察后，再决定您愿意放弃哪些 crawler。

每种控制方式实际做什么

设置页面把控制方式分成三种，它们之间的差异就是这项功能的核心：

• robots.txt 中的规则：声称遵守 robots.txt 的 crawler 会按规则执行，选择忽略的 crawler 则不会。这是一项请求，不是一道围墙。
• 在入口直接拒绝被屏蔽的 crawler：这是更强的方式，页面根本不会发送给它。它只对会如实表明身份的 crawler 有效。
• “不要用这部分内容训练”的标记：即 X-Robots-Tag: noai 约定。作用较弱，有些工具会读取，很多不会。它不增加额外成本，因此仍提供这个选项。

页面中的 What is actually in effect 不会假设规则已经生效。它会读取线上 robots.txt 并检查实际内容。如果另一个插件正在替换该文件，或磁盘上存在实体 robots.txt，它会明确显示这一情况、指出负责的插件，并给出需要改为手动加入的准确规则。

核实一次访问是否真实

任何人都可以发送 User-Agent: GPTBot。Identity checks 会根据各运营方公开的 hostname 核实身份，使用 forward-confirmed reverse DNS，并显示哪些访问无法验证。

Found: GPTBot        → verified   (resolves to an OpenAI host, and back again)
Found: GPTBot        → unverified (no published method, or the check failed)

并不是每个运营方都公开了验证方法。没有公开方法时，自称该 crawler 的访问既无法确认，也无法反证。这和“这次访问是伪造的”是不同的结论；每个 crawler 的参考页都会说明属于哪种情况。

不保存 IP 地址。 地址只在当前请求中使用，随后立即丢弃。验证失败时，只保留缩短后的网络范围，先移除地址最后一部分。这样足以看出某个网段正在冒充 crawler，同时不会记录具体连接者。

不会允许您屏蔽的对象

页面刻意没有为 Googlebot、Bingbot，以及 Facebook、X、LinkedIn 用于生成链接预览的 crawler 提供开关。关闭这些 crawler 会造成实际影响，因此这类规则应由您自己在 robots.txt 中处理，而不是放在一个可能误触的按钮后面。它们仍会被记录，因此您仍能查看 Google 最近何时访问过。