哪些 AI 爬蟲認 robots.txt 的 Crawl-delay?
官方文件明確寫「支援」的只有 Anthropic;Google 和 Apple 明確寫「不支援」;OpenAI、Perplexity、Common Crawl、Meta 的頁面沒有提;Bing 我們沒讀到原文。下面是 2026-11-07 逐頁打開的結果,沒寫的就是文件沒寫,不是我們猜它不認。
| 爬蟲 / 公司 | 官方文件對 Crawl-delay 的說法 | 讀到的頁面 |
|---|---|---|
| ClaudeBot(Anthropic) | 支援:「we support the non-standard Crawl-delay extension」,範例 Crawl-delay: 1;「respecting Crawl-delay where appropriate」 | support.claude.com 的爬蟲說明 |
| Googlebot(Google) | 不支援:支援的欄位只有 user-agent、allow、disallow、sitemap,crawl-delay 明確寫「aren't supported」 | Google robots.txt 規範頁 |
| Applebot(Apple) | 不遵循:「Applebot does not follow crawl-delay」;抓取速度在網站變慢或報錯時自動調整 | support.apple.com/119829 |
| GPTBot、OAI-SearchBot、ChatGPT-User(OpenAI) | 頁面沒有提到 Crawl-delay,也沒有提速率;ChatGPT-User 由使用者觸發,robots.txt 規則「可能不適用」 | developers.openai.com 爬蟲頁 |
| PerplexityBot、Perplexity-User | 頁面沒有提到 Crawl-delay 或抓取速度;有 IP 清單,robots.txt 改動最多 24 小時生效 | docs.perplexity.ai 爬蟲頁 |
| CCBot(Common Crawl) | 頁面沒有提到 Crawl-delay 或速率;用專用 IP 段和反向 DNS | commoncrawl.org/ccbot |
| meta-externalagent(Meta) | 頁面只寫 Allow / Disallow,沒有 Crawl-delay 或速率設定 | Meta 的網路爬蟲頁 |
| Bingbot(Microsoft) | 未核實:Bing 說明頁我們只讀到標題;只在搜尋結果摘要裡看到「認」的說法,沒讀到原文 | — |
結論很直接:Crawl-delay 不是通用開關。只有 Anthropic 白紙黑字寫了認;想靠一行 Crawl-delay 管住所有 AI 爬蟲,做不到。各家爬蟲的完整名單和用途見 AI 爬蟲 User-Agent 對照表,robots.txt 的整體寫法見 AI 爬蟲的 robots.txt 怎麼寫。
User-agent: ClaudeBot Crawl-delay: 1 # Anthropic documents this one. For other crawlers it may simply be ignored.
AI 爬蟲真的會把小網站抓得太頻繁嗎?
我們沒有這方面的統計資料,官方文件也沒有哪家寫具體的抓取速率,所以不下「不會」的結論。可以說的是常見的失敗方向:新的產品站頁面少,更常見的問題是爬蟲沒來,或者來了沒抓全,而不是抓太多。判斷靠你自己的日誌:先數每個爬蟲的請求數,再決定要不要管。
# How many requests did each AI crawler make in your access log? (Common Log / nginx combined format)
grep -E "GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot|Applebot" access.log \
| awk '{print $1}' | sort | uniq -c | sort -rn | head
什麼時候才需要管:日誌裡某個爬蟲在短時間內請求量大到影響正常訪問(回應變慢、報 5xx)。這時照下面的順序處理:確認是真爬蟲(對照各家公布的 IP 清單);認 Crawl-delay 的先寫 Crawl-delay;不認的用 CDN 限速。
與此相反的問題——新頁面多久才會被抓到、被引用——見 新頁面多久會被 AI 引用,主動通知搜尋引擎有新頁面見 IndexNow 是什麼。
別的網站是怎麼寫 Crawl-delay 的?
我們 2026-11-07 用 curl 讀了幾個 robots.txt,看別人怎麼用它。
| 網站 | robots.txt 裡的 Crawl-delay |
|---|---|
| news.ycombinator.com | 通用規則(User-Agent: *)下 Crawl-delay: 30 |
| aiweekly.beehiiv.com(beehiiv 的預設 robots.txt) | AhrefsBot、AhrefsSiteAudit 各 Crawl-delay: 10;Amazonbot 整站 Disallow;沒有對 AI 爬蟲寫 Crawl-delay |
| kagentx.com、mochistamp.com、pagent.kagentx.com | 都沒有 Crawl-delay |
| gammaslide.com | 只有一行註解提到 Crawl-delay,沒有寫指令 |
這裡沒有結論「Crawl-delay 有效」,只說明大站和平台會對個別 SEO 工具寫它,AI 爬蟲大多沒有被單獨限速;我們自己的四個站也都沒有寫。
怎麼用 Cloudflare 限制爬蟲的請求速度?
Cloudflare 的限速規則文件(頁面標註 2026-08-25 更新)寫:從最低的入門檔到企業檔,各檔方案都有。入門檔能比對路徑和「Verified Bot」,只有 1 條規則,統計週期和處置時間都是 10 秒,且只能按 IP 統計;按 User Agent 比對要 Business 方案。也就是說,小站在入門檔上做不到「只限 GPTBot」,只能限某個路徑或所有已驗證的爬蟲。
AI Crawl Control 的文件(2026-08-14 更新)寫的是對單個爬蟲設允許或攔截,沒有提限速。它怎麼設見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行。
一個小站該怎麼做?
1. 先放行,別急著限速
如果還沒被抓過,先確認 robots.txt 和 CDN 沒把爬蟲攔在外面,見 AI 爬蟲的 robots.txt 怎麼寫 和 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行。
2. 數日誌
用上面那條指令,看每個 AI 爬蟲一天來多少次。沒有日誌就先開日誌。
3. 只有出問題才限速
回應變慢或 5xx 時,先查是不是真爬蟲,再對認 Crawl-delay 的寫一行,其餘用 CDN 限速。
4. 過兩週再看
改動後看日誌裡該爬蟲的請求數和你的伺服器回應時間有沒有恢復。
頁面被 Google 判為「已找到,目前尚未建立索引」時,怎麼依序排查,見 「已找到,目前尚未建立索引」怎麼辦?Discovered 和 Crawled 的差別。
有用但沒有獨特內容的頁該不該 noindex、noindex 和 robots.txt Disallow 對 Google 和 AI 爬蟲各是什麼效果,見 薄內容頁該不該 noindex?對 Google 和 AI 搜尋有什麼影響。
常見問題
AI 爬蟲會不會把小網站抓垮?
我們沒有這方面的統計資料。官方文件裡沒有哪家寫具體的抓取速率。對一個只有幾十到幾百頁的產品站,常見的問題是爬蟲沒來或沒抓全,而不是抓太多;先看伺服器日誌裡的真實請求數再決定。
robots.txt 的 Crawl-delay 有用嗎?
只對認它的爬蟲有用。Anthropic 的文件寫支援這個非標準擴充;Google 的文件寫不支援;Apple 的文件寫 Applebot 不遵循。OpenAI、Perplexity、Common Crawl、Meta 的頁面沒有提到,所以不要假設它們認。
Bingbot 認 Crawl-delay 嗎?
我們沒有讀到 Bing 說明頁的內文,只在搜尋結果摘要裡看到「認」的說法,所以寫未核實。Bing Webmaster Tools 裡有 Crawl Control,可以在後台調整抓取速度。
Cloudflare 能限制 AI 爬蟲的抓取速度嗎?
可以用限速規則。文件(2026-08-25 更新)寫入門檔方案可比對路徑和 Verified Bot,只有 1 條規則;按 User Agent 比對要 Business 方案。AI Crawl Control 的文件只寫了允許或攔截,沒有寫限速。
怎麼知道哪些 AI 爬蟲真的來了?
看伺服器或 CDN 的存取日誌,按 User-Agent 數請求數,再用各家公布的 IP 清單確認不是冒充的。
出處
- Anthropic · Does Anthropic crawl data from the web? (2026-11-07 核對,頁面未標更新日期)
- Google · How Google interprets the robots.txt specification (2026-11-07 核對,頁面未標更新日期)
- Apple · About Applebot (2026-11-07 核對,頁面未標更新日期)
- OpenAI · Overview of OpenAI Crawlers (2026-11-07 核對,頁面未標更新日期)
- Perplexity · Perplexity Crawlers (2026-11-07 核對,頁面未標更新日期)
- Common Crawl · CCBot (2026-11-07 核對,頁面未標更新日期)
- Meta · Web Crawlers (2026-11-07 核對,頁面未標更新日期)
- Cloudflare · Rate limiting rules (頁面標註 2026-08-25 更新,2026-11-07 核對)
- Cloudflare · AI Crawl Control (頁面標註 2026-08-14 更新,2026-11-07 核對)
- Hacker News · news.ycombinator.com/robots.txt (2026-11-07 讀取)
- beehiiv · aiweekly.beehiiv.com/robots.txt (beehiiv default) (2026-11-07 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。