AumCrawl

功能

• 记录已知爬虫的访问：爬虫名称、访问时间和请求的页面。
• 将 AI 爬虫分为两类：与搜索和问答服务相关、可能带来访客的（OAI-SearchBot、PerplexityBot、Claude-SearchBot），以及不带来访客的（GPTBot、ClaudeBot、CCBot、Bytespider 和 SEO 外链爬虫）。访问控制开关显示在每个爬虫的访问记录旁。
• 根据各运营方公布的反向 DNS 核实爬虫身份，因为任何客户端都可以发送 GPTBot 之类的 User-Agent。不存储 IP 地址。
• 将规则追加到 robots.txt，不替换整个文件；如果该文件由 Yoast SEO、Rank Math 或 All in One SEO 生成，插件会给出提示。
• 标明每种控制方式的强度：服务器端拦截使页面不被返回；robots.txt 规则是一项请求，由遵守规则的爬虫执行；noai 响应头是较弱的信号，无额外成本。

适用场景

适合以内容为主要资产的网站，例如产品目录、知识库和长期运营的博客，以及需要在设置访问规则之前了解哪些爬虫到访过的站点管理员。

运行要求

WordPress

5.5+

PHP

7.4+

版本

1.1.0

常见问题

AumCrawl 会拦截 Google 吗？

不会。插件不为 Googlebot、Bingbot 以及 Facebook、X、LinkedIn 的链接预览爬虫提供拦截开关，因为拦截它们会影响搜索可见性和链接预览。这些爬虫的访问仍会被记录，包括 Google 最近一次访问的时间。

各种拦截方式的效果如何？

服务器端拦截适用于表明身份的爬虫，页面不会返回给它。robots.txt 规则由插件中列出的运营方遵守，对不遵守规则的爬虫没有强制力。插件对每种方式分别标注。

AumCrawl 与 SEO 插件兼容吗？

兼容。AumCrawl 以追加方式写入 robots.txt，不替换原有内容。如果其他插件已为某个爬虫写入规则，AumCrawl 不会再写入冲突的规则，而是显示提示。

AumCrawl 会生成 llms.txt 吗？

不会。llms.txt 由 AumViso 及其他插件提供。