AumCrawl

決定哪些 AI 爬蟲讀得到網站內容，並看見實際來過的是哪些。

本手冊寫給已經安裝好 AumCrawl 的人。以下內容都在 WordPress 後台的 Settings → AI Crawlers 底下 —— 它和其他設定畫面放在一起， 而不是自己開一個頂層選單。

AumCrawl 的後台在任何網站上都是英文的。 目前尚未發布任何介面翻譯， 因此無論 WordPress 設定成哪一種語言，看到的都是此處引用的這些英文標籤。

1. 這個外掛是做什麼的

如今有數十個爬蟲代表各種 AI 產品在讀網路。有些會把讀者送回來， 有些拿走網站的文字去訓練模型，而什麼都不回饋。它們進來的方式完全一樣， 而網站預設會回應其中每一個。

AumCrawl 做兩件事：寫下規則，在那些爬蟲會去看的那個檔案裡告訴它們可以讀什麼； 以及記下誰真的來過，讓決定建立在自己網站的真實流量上，而不是建立在別人發布的某份名單上。

它不靠強制手段封鎖任何東西。爬蟲規則是一種請求。一個無視 robots.txt 的爬蟲， 任何外掛都擋不住 —— 那是主機或防火牆的工作。AumCrawl 管的是那些真的會讀規則的 爬蟲的行為，而重要的那些大多屬於這一類。

2. 三個分組

打開 Settings → AI Crawlers。爬蟲被分成三組，而這個分法本身就是全部的論點。

2.1 These send traffic back（會把流量送回來）

它們讀一個頁面，是因為有人問了問題，而答案會標明出處。 封鎖它們的代價是流失造訪。

七個爬蟲。每一個都連著一個會顯示來源的產品。如果有人向助理提了一個站上頁面能回答的 問題，這一組就是能把連結放進答案裡的那一組。

2.2 These take and give nothing back（只拿不給）

訓練語料與商用資料集。內容進去；沒有連結、沒有引用，也沒有任何訪客出來。

十四個爬蟲。封鎖其中任何一個，都不會讓觸及減少。

2.3 Recorded, never switchable（只記錄，永遠不提供開關）

搜尋引擎與連結預覽。這個外掛刻意不為它們提供開關： 關掉其中一個是實打實的損害，那種事應該寫進您自己的 robots.txt， 而不是放在一個可能被誤點的按鈕後面。

十四個爬蟲，預設是收起來的。Googlebot 在這一組，這一頁無法封鎖它。 這是刻意的。一個能把網站從 Google 上移除的開關，遲早會有人按下去。 AumCrawl 仍然會統計它們的造訪，所以記錄是完整的，只是不為它們寫任何規則。

如果您真的需要排除某個搜尋引擎，請寫進您自己的 robots.txt —— 一個這麼慎重的決定，理應不只花一次點擊。

一個合理的起點： 放行第一組、封鎖第二組、第三組不要動。 過幾週之後看看記錄再調整。

3. 實際生效的是什麼

最上面那一段顯示的是此刻真正被送出去的規則，而不是後台裡設定的規則。

這兩者可能不同。如果網站根目錄下真的存在一個 robots.txt 檔案， 網頁伺服器會直接送出那個檔案，WordPress 根本不會被問到 —— 於是 AumCrawl 寫的任何東西都不會生效。發生這種情況時畫面上會說明。 若您想讓外掛來管這些規則，請把那個檔案刪掉。

改完任何東西之後都讀一下這一段。 它是唯一一個會顯示「爬蟲實際收到什麼」的地方。

4. 記錄

AumCrawl 會記下它認得的每一個爬蟲的每一次造訪：是哪一個、什麼時候。 主畫面做了彙總，而每一列也各自顯示自己的次數與最後一次造訪。

這份記錄的用處：

• 用來決定。 一個從來沒來過的爬蟲，不值得花心思想它。
• 用來察覺。 一個突然來得比以前頻繁得多的爬蟲，值得看一眼。
• 用來驗證。 封鎖某一個之後，它的次數應該停止增加。如果沒停， 那個爬蟲就是在無視規則，而答案在伺服器那一層。

從來沒來過的爬蟲顯示 Never seen。2.3 那一組的爬蟲，在其他組有開關的位置顯示 Always allowed。某一列還可能帶一個像 26 could not be verified 的標記： 表示有那麼多次造訪自稱是這個爬蟲，而這個說法被明確地推翻了。 任何人都可以在 user agent 裡填任何名字。

AumCrawl 用兩種方式查驗，因為營運方公開的是兩種不同的東西。 Google、Bing、Apple、百度、Yandex 和 Ahrefs 公開的是「他們的位址反解回來會是什麼名字」； OpenAI、Anthropic、Perplexity 和 DuckDuckGo 公開的則是他們的位址清單。 兩種都會查，所以來自其中任何一家的造訪，都能被確認或被推翻。

那些清單是按排程在背景抓的，絕不在有人正在被服務的時候抓 —— 一次頁面載入不該去等別人家的伺服器。

仍然會有一些列永遠不帶這個標記，而這是對的。 遇到兩種都沒公開的營運方， AumCrawl 什麼都不說，而不是去猜 —— 因為在這裡猜一下，就等於指著一個誠實的爬蟲 說它偽造身分，而網站主人照這個去封鎖它是完全合理的。 另外，一個剛裝好的站在最初那幾次造訪上也什麼都不說，直到那些清單第一次抓回來為止。

Start the record over 會把計數清零。在一次刻意的調整之後使用它， 好讓新的數字不會和舊的被平均在一起。

5. 設定

Settings 那一段放的是不屬於單一爬蟲的開關。其中最重要的一個是 「AumCrawl 到底要不要管 robots.txt」。把它關掉，外掛會繼續記錄但不寫任何規則 —— 這是度過最初幾週的一個合理做法。

6. 和 SEO 外掛一起用

多數 SEO 外掛也會提議接手 robots.txt。兩個外掛寫同一個檔案， 結果是其中一個贏、另一個靜靜地什麼都沒做。

挑一個。如果您決定用 AumCrawl 來管這件事，請把另一個外掛的 robots 功能關掉， 然後回到第 3 節確認實際被送出去的是什麼。

7. 爬蟲名錄

截至這一版共三十五個爬蟲。每一列的說明和後台裡顯示的是同一句。

7.1 These send traffic back

7.2 These take and give nothing back

7.3 Recorded, never switchable

8. 疑難排解

我的改動沒有生效。 網站根目錄下真實存在的 robots.txt 檔案， 優先於 WordPress 送出的任何內容。第 3 節會說明何時正在發生這件事。

被封鎖的爬蟲還是一直來。 規則是一種請求。那個爬蟲在無視它們 —— 請改為在伺服器或防火牆那一層封鎖。

我找不到 Googlebot 的開關。 沒有，而且是刻意的 —— 它那一列在其他爬蟲有開關的位置顯示 Always allowed。見 2.3。

記錄裡出現了一個我從未放行的爬蟲。 記錄涵蓋所有被認得的爬蟲， 包含那些本身沒有任何規則的。

改完規則之後，次數看起來不對。 請用 Start the record over， 讓改之前和改之後不會被平均在一起。

某一列寫著「could not be verified」。 有人用了那個爬蟲的名字，而他來自一個 那個爬蟲的營運方並不擁有的地方。次數仍然保留，但那個說法不被採信。

這比它聽起來的範圍要窄，而且是故意的。AumCrawl 單純沒有辦法查的時候， 不會出現這個標記 —— 那種情況下什麼都不顯示。它只在「訪客的位址反解回一個名字、 而那個名字屬於別人」的時候才出現。

我以為會通過查驗的某個爬蟲，從來沒顯示成已查驗。 兩種可能：它的營運方兩種都沒公開 —— AumCrawl 不會替它編一個出來，所以那些造訪會被計數、但不下判斷；或者那份已公開的 清單還沒被抓回來。清單會在安裝後幾小時內於背景抓取，之後每天刷新兩次。