AumCrawl

决定哪些 AI 爬虫可以读你的站，并且看见实际来的是哪些。

这篇是给已经装好 AumCrawl 的人看的。下面所有东西都在 WordPress 后台的 设置 → AI Crawlers 里 —— 它和别的设置页放在一起，不是一个顶级菜单。

界面是英文的，本文里的按钮名也保持英文。 AumCrawl 目前没有发布简体中文语言包， 所以中文站的后台里这些名字就是英文原文。本文照原样写出来，你照着找得到； 译成中文反而会让你在界面上找不到那一项。

1. 这个插件是干什么的

现在有几十个爬虫代表各种 AI 产品在读网页。有些会把读者送回来，有些拿走你的文字去训练 模型、什么都不给你。它们进来的方式完全一样，而你的站默认对所有人都回答。

AumCrawl 做两件事：在爬虫会去读的那个文件里写规则，告诉它们可以读什么； 以及记录谁真的来过，让你的决定依据自己的流量，而不是依据别人发布的某张名单。

⚠️ 它不是强制拦截。 爬虫规则是一种请求。无视 robots.txt 的爬虫，任何插件都挡 不住 —— 那是主机或防火墙的活。AumCrawl 管的是那些确实会读规则的爬虫，而重要的那些 基本都在其中。

2. 三个分组

打开 设置 → AI Crawlers。爬虫被分成三组，而分组方式本身就是全部论据。

2.1 These send traffic back（会把流量送回来的）

它们读一个页面，是因为有人提了问题，而答案会标注你。屏蔽它们要付出访问量的代价。

七个。每一个都挂在一个会显示来源的产品后面。如果有人向助手提了一个你的页面能回答的 问题，这一组就是有可能把你的链接放进答案里的那些。

2.2 These take and give nothing back（只拿不给的）

训练语料和商业数据集。你的内容进去；没有链接、没有引用，也没有访客出来。

十四个。屏蔽其中任何一个，都不会让你损失曝光。

2.3 Recorded, never switchable（只记录，永远没有开关）

搜索引擎和链接预览。这个插件有意不给它们开关：关掉一个是实打实的损害， 那种事应该写进你自己的 robots.txt，而不是放在一个可能被误点的按钮后面。

十四个，界面上默认折叠起来。⚠️ Googlebot 就在这一组，你在这里关不掉它。 这是故意的 —— 一个能把网站从 Google 上撤下来的开关，迟早会有人按到。 AumCrawl 仍然统计它们的访问，所以记录是完整的，只是不为它们写任何规则。

如果你真的需要排除某个搜索引擎，去自己的 robots.txt 里写 —— 这么果断的决定，就该比点一下更费事一点。

一个合理的起点： 第一组放行，第二组屏蔽，第三组不用管。过几周看看记录再调。

3. What is actually in effect（实际生效的是什么）

最上面那一块显示的是此刻真正被发出去的规则，不是你设置的规则。

这两者可能不一样。如果网站根目录下真的存在一个 robots.txt 文件，服务器会直接发那个 文件，请求根本到不了 WordPress —— 那么 AumCrawl 写的东西一点作用都没有。出现这种情况 时界面会说明。想让插件来管，就把那个文件删掉。

改完任何东西都来看一眼这一块。 它是唯一能显示「爬虫实际会收到什么」的地方。

4. 记录

AumCrawl 会记下它认得的每一次爬虫访问：是谁、什么时候。主界面上有汇总，每一行也有 自己的次数和最后一次来的时间。

这份记录的用处：

• 用来决定。 从没来过的爬虫，不值得花时间想。
• 用来察觉。 某个忽然来得比以前频繁得多，值得看一眼。
• 用来验证。 屏蔽一个之后，它的计数应该停止增长。如果还在涨，说明那个爬虫在无视 规则，那就得去服务器层面解决。

从没来过的爬虫那一行写 Never seen。2.3 那一组的行上，别人是开关的位置写的是 Always allowed。某一行还可能挂一个徽标，比如 26 could not be verified： 这么多次访问自称是这个爬虫，而这个说法被反过来否掉了。任何人都能在 user agent 里 写任何名字。

AumCrawl 用两种方式查，因为运营方公布的东西本来就是两种。 Google、Bing、Apple、百度、Yandex、Ahrefs 公布的是「地址会反查回什么名字」； OpenAI、Anthropic、Perplexity、DuckDuckGo 公布的是它们的 IP 名单。 两种都查，所以这几家的访问现在都能被确认或被否掉。

那些名单是后台定时取的，绝不在有人访问时取 —— 页面加载不该等别人的服务器。

仍然有一些行永远不会出现这个徽标，这是对的。 运营方两样都没公布的， AumCrawl 什么都不说，而不是猜 —— 猜错就等于指控一个正经爬虫冒充， 而站主会很合理地把它拦掉。另外刚装好的站头几次访问也什么都不说， 要等名单第一次取回来。

Start the record over 会清空计数。在一次有意的改动之后用它，免得改动前后的数字被 平均在一起。

5. Settings（设置）

Settings 那一块放的是不针对单个爬虫的开关。最要紧的一个是 AumCrawl 到底管不管 robots.txt。关掉它，插件会继续记录但不写任何规则 —— 拿来过头几周是个合理的做法。

6. 和 SEO 插件一起用

大多数 SEO 插件也提供写 robots.txt 的功能。两个插件写同一个文件，结果是一个赢、 另一个悄无声息地什么都没做。

只留一个。如果这件事交给 AumCrawl，就把另一个插件里的 robots 功能关掉， 然后回第 3 节确认实际发出去的是什么。

7. 爬虫名录

截至这一版共三十五个。每行的说明和后台里显示的是同一句。

7.1 These send traffic back

7.2 These take and give nothing back

7.3 Recorded, never switchable

8. 遇到问题

改了没反应。 网站根目录下那个真实的 robots.txt 文件优先于 WordPress 输出的任何 内容。第 3 节会告诉你是不是这种情况。

屏蔽了的爬虫还在来。 规则是请求。那个爬虫在无视它 —— 改到服务器或防火墙层面去挡。

找不到 Googlebot 的开关。 没有，是故意的 —— 它那一行在别人是开关的位置写着 Always allowed。见 2.3。

记录里出现了我从没放行过的爬虫。 记录覆盖所有认得出的爬虫，包括没有专属规则的。

改完规则之后计数看着不对。 用 Start the record over，别让改动前后的数字被平均 在一起。

某一行写着 could not be verified。 有人用了那个爬虫的名字，而来访地址属于 它的运营方不拥有的地方。次数照记，但这个说法不被采信。

这比字面意思要窄，而且是故意的。AumCrawl 判断不了的时候不会显示它 —— 那种情况下什么都不显示。只有当来访地址反查出一个名字、而那个名字属于别人时， 它才出现。

我以为会显示已验证的爬虫，一直没有显示。 要么是它的运营方两样都没公布 —— AumCrawl 不会替它编一个，所以这些访问只计数、不下判断；要么是它公布的名单还没取回来。 名单在装好之后几小时内第一次取，之后每天取两次。