指南 · 爬虫

AI 爬虫会抓太多吗?Crawl-delay 哪些爬虫认

更新于 2026-11-07 · kagentx

短答案

Crawl-delay 不是通用开关:Anthropic 的文档写明支持,Google 和 Apple 的文档写明不支持,OpenAI、Perplexity、Common Crawl、Meta 的页面没有提,Bing 我们没读到原文所以写未核实。对小站来说,更常见的问题是 AI 爬虫没来或没抓全,而不是抓太多;先数自己服务器日志里每个爬虫的请求数,出现响应变慢或 5xx 再限速。

哪些 AI 爬虫认 robots.txt 的 Crawl-delay?

官方文档明确写“支持”的只有 Anthropic;Google 和 Apple 明确写“不支持”;OpenAI、Perplexity、Common Crawl、Meta 的页面没有提;Bing 我们没读到原文。下面是 2026-11-07 逐页打开的结果,没写的就是文档没写,不是我们猜它不认。

爬虫 / 公司官方文档对 Crawl-delay 的说法读到的页面
ClaudeBot(Anthropic)支持:“we support the non-standard Crawl-delay extension”,示例 Crawl-delay: 1;“respecting Crawl-delay where appropriate”support.claude.com 的爬虫说明
Googlebot(Google)不支持:支持的字段只有 user-agent、allow、disallow、sitemap,crawl-delay 明确写“aren’t supported”Google robots.txt 规范页
Applebot(Apple)不遵循:“Applebot does not follow crawl-delay”;抓取速度在网站变慢或报错时自动调整support.apple.com/119829
GPTBot、OAI-SearchBot、ChatGPT-User(OpenAI)页面没有提到 Crawl-delay,也没有提速率;ChatGPT-User 由用户触发,robots.txt 规则“可能不适用”developers.openai.com 爬虫页
PerplexityBot、Perplexity-User页面没有提到 Crawl-delay 或抓取速度;有 IP 清单,robots.txt 改动最多 24 小时生效docs.perplexity.ai 爬虫页
CCBot(Common Crawl)页面没有提到 Crawl-delay 或速率;用专用 IP 段和反向 DNScommoncrawl.org/ccbot
meta-externalagent(Meta)页面只写 Allow / Disallow,没有 Crawl-delay 或速率设置Meta 的网络爬虫页
Bingbot(Microsoft)未核实:Bing 帮助页我们只读到标题;只在搜索结果摘要里看到“认”的说法,没读到原文—

结论很直接:Crawl-delay 不是通用开关。只有 Anthropic 白纸黑字写了认;想靠一行 Crawl-delay 管住所有 AI 爬虫,做不到。各家爬虫的完整名单和用途见 AI 爬虫 User-Agent 对照表,robots.txt 的整体写法见 AI 爬虫的 robots.txt 怎么写。

User-agent: ClaudeBot
Crawl-delay: 1

# Anthropic documents this one. For other crawlers it may simply be ignored.

AI 爬虫真的会把小网站抓得太频繁吗?

我们没有这方面的统计数据,官方文档也没有哪家写具体的抓取速率,所以不下“不会”的结论。可以说的是常见的失败方向:新的产品站页面少,更常见的问题是爬虫没来,或者来了没抓全,而不是抓太多。判断靠你自己的日志:先数每个爬虫的请求数,再决定要不要管。

# How many requests did each AI crawler make in your access log? (Common Log / nginx combined format)
grep -E "GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot|Applebot" access.log \
  | awk '{print $1}' | sort | uniq -c | sort -rn | head

什么时候才需要管:日志里某个爬虫在短时间内请求量大到影响正常访问(响应变慢、报 5xx)。这时按下面的顺序处理:确认是真爬虫(对照各家公布的 IP 清单);认 Crawl-delay 的先写 Crawl-delay;不认的用 CDN 限速。

与此相反的问题——新页面多久才会被抓到、被引用——见 新页面多久会被 AI 引用,主动通知搜索引擎有新页面见 IndexNow 是什么。

别的站是怎么写 Crawl-delay 的?

我们 2026-11-07 用 curl 读了几个 robots.txt,看别人怎么用它。

网站robots.txt 里的 Crawl-delay
news.ycombinator.com通用规则(User-Agent: *)下 Crawl-delay: 30
aiweekly.beehiiv.com(beehiiv 的默认 robots.txt)AhrefsBot、AhrefsSiteAudit 各 Crawl-delay: 10;Amazonbot 整站 Disallow;没有对 AI 爬虫写 Crawl-delay
kagentx.com、mochistamp.com、pagent.kagentx.com都没有 Crawl-delay
gammaslide.com只有一行注释提到 Crawl-delay,没有写指令

这里没有结论“Crawl-delay 有效”,只说明大站和平台会对个别 SEO 工具写它,AI 爬虫大多没有被单独限速;我们自己的四个站也都没有写。

怎么用 Cloudflare 限制爬虫的请求速度?

Cloudflare 的限速规则文档(页面标注 2026-08-25 更新)写:从最低的入门档到企业档,各档套餐都有。入门档能匹配路径和“Verified Bot”,只有 1 条规则,统计周期和处置时长都是 10 秒,且只能按 IP 统计;按 User Agent 匹配要 Business 套餐。也就是说,小站在入门档上做不到“只限 GPTBot”,只能限某个路径或所有已验证的爬虫。

AI Crawl Control 的文档(2026-08-14 更新)写的是对单个爬虫设允许或拦截,没有提限速。它怎么设见 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行。

一个小站该怎么做?

  1. 1. 先放行,别急着限速

    如果还没被抓过,先确认 robots.txt 和 CDN 没把爬虫拦在外面,见 AI 爬虫的 robots.txt 怎么写 和 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行。

  2. 2. 数日志

    用上面那条命令,看每个 AI 爬虫一天来多少次。没有日志就先开日志。

  3. 3. 只有出问题才限速

    响应变慢或 5xx 时,先查是不是真爬虫,再对认 Crawl-delay 的写一行,其余用 CDN 限速。

  4. 4. 过两周再看

    改动后看日志里该爬虫的请求数和你的服务器响应时间有没有恢复。

页面被 Google 判成「已发现,尚未编入索引」时怎么按顺序排查,见 「已发现,尚未编入索引」怎么办?Discovered 和 Crawled 的区别。

有用但没有独特内容的页该不该 noindex、noindex 和 robots.txt Disallow 对 Google 和 AI 爬虫各是什么效果,见 薄内容页该不该 noindex?对 Google 和 AI 搜索有什么影响。

常见问题

AI 爬虫会不会把小网站抓垮?

我们没有这方面的统计数据。官方文档里没有哪家写具体的抓取速率。对一个只有几十到几百页的产品站,常见的问题是爬虫没来或没抓全,而不是抓太多;先看服务器日志里的真实请求数再决定。

robots.txt 的 Crawl-delay 有用吗?

只对认它的爬虫有用。Anthropic 的文档写支持这个非标准扩展;Google 的文档写不支持;Apple 的文档写 Applebot 不遵循。OpenAI、Perplexity、Common Crawl、Meta 的页面没有提到,所以不要假设它们认。

Bingbot 认 Crawl-delay 吗?

我们没有读到 Bing 帮助页的正文,只在搜索结果摘要里看到“认”的说法,所以写未核实。Bing Webmaster Tools 里有 Crawl Control,可以在后台调抓取速度。

Cloudflare 能限制 AI 爬虫的抓取速度吗?

可以用限速规则。文档(2026-08-25 更新)写入门档套餐可匹配路径和 Verified Bot,只有 1 条规则;按 User Agent 匹配要 Business 套餐。AI Crawl Control 的文档只写了允许或拦截,没有写限速。

怎么知道哪些 AI 爬虫真的来了?

看服务器或 CDN 的访问日志,按 User-Agent 数请求数,再用各家公布的 IP 清单确认不是冒充的。

出处

kagentx

你的页面,爬虫读得到吗?
让评测告诉你

评测检查爬虫能不能进、正文是否直出,再把买家的问题拿去问 ChatGPT、Perplexity、Claude(开联网搜索),看有没有提到你。基础版 $1,一般 2–3 分钟出结果。