AumCrawl

功能

• 記錄已知爬蟲的造訪：爬蟲名稱、造訪時間與請求的頁面。
• 將 AI 爬蟲分為兩類：與搜尋及問答服務相關、可能帶來訪客的（OAI-SearchBot、PerplexityBot、Claude-SearchBot），以及不帶來訪客的（GPTBot、ClaudeBot、CCBot、Bytespider 與 SEO 外部連結爬蟲）。存取控制開關顯示在每個爬蟲的造訪紀錄旁。
• 依各營運方公布的反向 DNS 核實爬蟲身分，因為任何客戶端都能送出 GPTBot 之類的 User-Agent。不儲存 IP 位址。
• 將規則附加到 robots.txt，不取代整個檔案；如果該檔案由 Yoast SEO、Rank Math 或 All in One SEO 產生，外掛會顯示提示。
• 標示每種控制方式的強度：伺服器端封鎖使頁面不會送出；robots.txt 規則是一項請求，由遵守規則的爬蟲執行；noai 標頭是較弱的訊號，無額外成本。

適用情境

適合以內容為主要資產的網站，例如產品型錄、知識庫與長期經營的部落格，以及需要在設定存取規則之前了解哪些爬蟲造訪過的網站管理員。

執行需求

WordPress

5.5+

PHP

7.4+

版本

1.1.0

常見問題

AumCrawl 會封鎖 Google 嗎？

不會。外掛不為 Googlebot、Bingbot 以及 Facebook、X、LinkedIn 的連結預覽爬蟲提供封鎖開關，因為封鎖它們會影響搜尋能見度與連結預覽。這些爬蟲的造訪仍會被記錄，包括 Google 最近一次造訪的時間。

各種封鎖方式的效果如何？

伺服器端封鎖適用於表明身分的爬蟲，頁面不會送出。robots.txt 規則由外掛中列出的營運方遵守，對不遵守規則的爬蟲沒有強制力。外掛對每種方式分別標示。

AumCrawl 與 SEO 外掛相容嗎？

相容。AumCrawl 以附加方式寫入 robots.txt，不取代原有內容。如果其他外掛已為某個爬蟲寫入規則，AumCrawl 不會再寫入衝突的規則，而是顯示提示。

AumCrawl 會產生 llms.txt 嗎？

不會。llms.txt 由 AumViso 及其他外掛提供。