如何查看哪些 AI crawler 正在讀取您的 WordPress 網站，並封鎖您選擇的 crawler

先觀察，再封鎖

很多「封鎖 AI」的建議會直接全部封鎖，這一步值得放慢一些。不同 AI crawler 的行為並不相同，記錄裡看起來相似的兩個 crawler，關閉後可能帶來完全不同的結果。

• 有些會帶來訪客。 OAI-SearchBot、PerplexityBot 與 Claude-SearchBot 會在有人提出問題時抓取頁面，答案中可能帶有指向您網站的連結。封鎖它們會失去這類造訪。
• 有些只抓取內容，不帶回造訪。 GPTBot、ClaudeBot、CCBot 與 Bytespider 會把內容用於訓練語料或商業資料集，不會帶回連結、引用或訪客。
• 有些根本不是 crawler。 Google-Extended 與 Applebot-Extended 不會主動送出請求，它們是 robots.txt token，用來表達對已經抓取內容的使用偏好。因此您永遠不會在記錄中看到它們，這也正是很多人誤以為設定沒有生效的原因。

每個 crawler 屬於哪一類，可以在 AI crawler reference 中查看其營運方自己的說明。每個 crawler 都有獨立頁面，包含營運方原文、封鎖後影響什麼，以及如何驗證一次造訪。

記錄實際造訪者

從 Plugins 頁面安裝 AumCrawl，然後開啟 Settings → AI Crawlers。它會記錄到達網站的已知 crawler，包括 AI、搜尋引擎、SEO 工具與連結預覽，並顯示誰來了、何時造訪以及讀取了哪些頁面。

1. 安裝並啟用外掛後，先讓它執行幾天。根據空白記錄做決定只是猜測。
2. 開啟 Settings → AI Crawlers 查看活動清單：誰造訪了、頻率如何、讀取了哪些頁面。
3. 查看被抓取最多的頁面。只讀取某一區塊的 crawler，與遍歷整個網站的 crawler，需要不同判斷。
4. 完成這些觀察後，再決定您願意放棄哪些 crawler。

每種控制方式實際做什麼

設定頁面把控制方式分成三種，它們之間的差異就是這項功能的核心：

• robots.txt 中的規則：聲稱遵守 robots.txt 的 crawler 會依規則執行，選擇忽略的 crawler 則不會。這是一項請求，不是一道圍牆。
• 在入口直接拒絕被封鎖的 crawler：這是較強的方式，頁面根本不會送給它。它只對會如實表明身分的 crawler 有效。
• 「不要用這部分內容訓練」的標記：也就是 X-Robots-Tag: noai 約定。作用較弱，有些工具會讀取，很多不會。它不增加額外成本，因此仍提供這個選項。

頁面中的 What is actually in effect 不會假設規則已經生效。它會讀取線上 robots.txt 並檢查實際內容。如果另一個外掛正在替換該檔案，或磁碟上存在實體 robots.txt，它會明確顯示這種情況、指出負責的外掛，並提供需要改為手動加入的準確規則。

驗證一次造訪是否真實

任何人都可以送出 User-Agent: GPTBot。Identity checks 會依各營運方公開的 hostname 驗證身分，使用 forward-confirmed reverse DNS，並顯示哪些造訪無法驗證。

Found: GPTBot        → verified   (resolves to an OpenAI host, and back again)
Found: GPTBot        → unverified (no published method, or the check failed)

並不是每個營運方都公開驗證方式。沒有公開方式時，自稱該 crawler 的造訪既無法確認，也無法反證。這和「這次造訪是偽造的」是不同的結論；每個 crawler 的參考頁都會說明屬於哪一種情況。

不保存 IP 位址。 位址只在當次請求中使用，之後立即捨棄。驗證失敗時，只保留縮短後的網路範圍，先移除位址最後一部分。這足以看出某個網段正在冒充 crawler，同時不會記錄具體連線者。

不允許您封鎖的對象

頁面刻意沒有為 Googlebot、Bingbot，以及 Facebook、X、LinkedIn 用於產生連結預覽的 crawler 提供開關。關閉這些 crawler 會造成實際影響，因此這類規則應由您自行在 robots.txt 中處理，而不是放在一個可能誤觸的按鈕後面。它們仍會被記錄，因此您仍可查看 Google 最近何時造訪過。