哪些 AI 爬虫认 robots.txt 的 Crawl-delay?
官方文档明确写“支持”的只有 Anthropic;Google 和 Apple 明确写“不支持”;OpenAI、Perplexity、Common Crawl、Meta 的页面没有提;Bing 我们没读到原文。下面是 2026-11-07 逐页打开的结果,没写的就是文档没写,不是我们猜它不认。
| 爬虫 / 公司 | 官方文档对 Crawl-delay 的说法 | 读到的页面 |
|---|---|---|
| ClaudeBot(Anthropic) | 支持:“we support the non-standard Crawl-delay extension”,示例 Crawl-delay: 1;“respecting Crawl-delay where appropriate” | support.claude.com 的爬虫说明 |
| Googlebot(Google) | 不支持:支持的字段只有 user-agent、allow、disallow、sitemap,crawl-delay 明确写“aren’t supported” | Google robots.txt 规范页 |
| Applebot(Apple) | 不遵循:“Applebot does not follow crawl-delay”;抓取速度在网站变慢或报错时自动调整 | support.apple.com/119829 |
| GPTBot、OAI-SearchBot、ChatGPT-User(OpenAI) | 页面没有提到 Crawl-delay,也没有提速率;ChatGPT-User 由用户触发,robots.txt 规则“可能不适用” | developers.openai.com 爬虫页 |
| PerplexityBot、Perplexity-User | 页面没有提到 Crawl-delay 或抓取速度;有 IP 清单,robots.txt 改动最多 24 小时生效 | docs.perplexity.ai 爬虫页 |
| CCBot(Common Crawl) | 页面没有提到 Crawl-delay 或速率;用专用 IP 段和反向 DNS | commoncrawl.org/ccbot |
| meta-externalagent(Meta) | 页面只写 Allow / Disallow,没有 Crawl-delay 或速率设置 | Meta 的网络爬虫页 |
| Bingbot(Microsoft) | 未核实:Bing 帮助页我们只读到标题;只在搜索结果摘要里看到“认”的说法,没读到原文 | — |
结论很直接:Crawl-delay 不是通用开关。只有 Anthropic 白纸黑字写了认;想靠一行 Crawl-delay 管住所有 AI 爬虫,做不到。各家爬虫的完整名单和用途见 AI 爬虫 User-Agent 对照表,robots.txt 的整体写法见 AI 爬虫的 robots.txt 怎么写。
User-agent: ClaudeBot Crawl-delay: 1 # Anthropic documents this one. For other crawlers it may simply be ignored.
AI 爬虫真的会把小网站抓得太频繁吗?
我们没有这方面的统计数据,官方文档也没有哪家写具体的抓取速率,所以不下“不会”的结论。可以说的是常见的失败方向:新的产品站页面少,更常见的问题是爬虫没来,或者来了没抓全,而不是抓太多。判断靠你自己的日志:先数每个爬虫的请求数,再决定要不要管。
# How many requests did each AI crawler make in your access log? (Common Log / nginx combined format)
grep -E "GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot|Applebot" access.log \
| awk '{print $1}' | sort | uniq -c | sort -rn | head
什么时候才需要管:日志里某个爬虫在短时间内请求量大到影响正常访问(响应变慢、报 5xx)。这时按下面的顺序处理:确认是真爬虫(对照各家公布的 IP 清单);认 Crawl-delay 的先写 Crawl-delay;不认的用 CDN 限速。
与此相反的问题——新页面多久才会被抓到、被引用——见 新页面多久会被 AI 引用,主动通知搜索引擎有新页面见 IndexNow 是什么。
别的站是怎么写 Crawl-delay 的?
我们 2026-11-07 用 curl 读了几个 robots.txt,看别人怎么用它。
| 网站 | robots.txt 里的 Crawl-delay |
|---|---|
| news.ycombinator.com | 通用规则(User-Agent: *)下 Crawl-delay: 30 |
| aiweekly.beehiiv.com(beehiiv 的默认 robots.txt) | AhrefsBot、AhrefsSiteAudit 各 Crawl-delay: 10;Amazonbot 整站 Disallow;没有对 AI 爬虫写 Crawl-delay |
| kagentx.com、mochistamp.com、pagent.kagentx.com | 都没有 Crawl-delay |
| gammaslide.com | 只有一行注释提到 Crawl-delay,没有写指令 |
这里没有结论“Crawl-delay 有效”,只说明大站和平台会对个别 SEO 工具写它,AI 爬虫大多没有被单独限速;我们自己的四个站也都没有写。
怎么用 Cloudflare 限制爬虫的请求速度?
Cloudflare 的限速规则文档(页面标注 2026-08-25 更新)写:从最低的入门档到企业档,各档套餐都有。入门档能匹配路径和“Verified Bot”,只有 1 条规则,统计周期和处置时长都是 10 秒,且只能按 IP 统计;按 User Agent 匹配要 Business 套餐。也就是说,小站在入门档上做不到“只限 GPTBot”,只能限某个路径或所有已验证的爬虫。
AI Crawl Control 的文档(2026-08-14 更新)写的是对单个爬虫设允许或拦截,没有提限速。它怎么设见 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行。
一个小站该怎么做?
1. 先放行,别急着限速
如果还没被抓过,先确认 robots.txt 和 CDN 没把爬虫拦在外面,见 AI 爬虫的 robots.txt 怎么写 和 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行。
2. 数日志
用上面那条命令,看每个 AI 爬虫一天来多少次。没有日志就先开日志。
3. 只有出问题才限速
响应变慢或 5xx 时,先查是不是真爬虫,再对认 Crawl-delay 的写一行,其余用 CDN 限速。
4. 过两周再看
改动后看日志里该爬虫的请求数和你的服务器响应时间有没有恢复。
页面被 Google 判成「已发现,尚未编入索引」时怎么按顺序排查,见 「已发现,尚未编入索引」怎么办?Discovered 和 Crawled 的区别。
有用但没有独特内容的页该不该 noindex、noindex 和 robots.txt Disallow 对 Google 和 AI 爬虫各是什么效果,见 薄内容页该不该 noindex?对 Google 和 AI 搜索有什么影响。
常见问题
AI 爬虫会不会把小网站抓垮?
我们没有这方面的统计数据。官方文档里没有哪家写具体的抓取速率。对一个只有几十到几百页的产品站,常见的问题是爬虫没来或没抓全,而不是抓太多;先看服务器日志里的真实请求数再决定。
robots.txt 的 Crawl-delay 有用吗?
只对认它的爬虫有用。Anthropic 的文档写支持这个非标准扩展;Google 的文档写不支持;Apple 的文档写 Applebot 不遵循。OpenAI、Perplexity、Common Crawl、Meta 的页面没有提到,所以不要假设它们认。
Bingbot 认 Crawl-delay 吗?
我们没有读到 Bing 帮助页的正文,只在搜索结果摘要里看到“认”的说法,所以写未核实。Bing Webmaster Tools 里有 Crawl Control,可以在后台调抓取速度。
Cloudflare 能限制 AI 爬虫的抓取速度吗?
可以用限速规则。文档(2026-08-25 更新)写入门档套餐可匹配路径和 Verified Bot,只有 1 条规则;按 User Agent 匹配要 Business 套餐。AI Crawl Control 的文档只写了允许或拦截,没有写限速。
怎么知道哪些 AI 爬虫真的来了?
看服务器或 CDN 的访问日志,按 User-Agent 数请求数,再用各家公布的 IP 清单确认不是冒充的。
出处
- Anthropic · Does Anthropic crawl data from the web? (2026-11-07 核对,页面未标更新日期)
- Google · How Google interprets the robots.txt specification (2026-11-07 核对,页面未标更新日期)
- Apple · About Applebot (2026-11-07 核对,页面未标更新日期)
- OpenAI · Overview of OpenAI Crawlers (2026-11-07 核对,页面未标更新日期)
- Perplexity · Perplexity Crawlers (2026-11-07 核对,页面未标更新日期)
- Common Crawl · CCBot (2026-11-07 核对,页面未标更新日期)
- Meta · Web Crawlers (2026-11-07 核对,页面未标更新日期)
- Cloudflare · Rate limiting rules (页面标注 2026-08-25 更新,2026-11-07 核对)
- Cloudflare · AI Crawl Control (页面标注 2026-08-14 更新,2026-11-07 核对)
- Hacker News · news.ycombinator.com/robots.txt (2026-11-07 读取)
- beehiiv · aiweekly.beehiiv.com/robots.txt (beehiiv default) (2026-11-07 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。