指南 · Cloudflare

Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行

更新于 2026-11-07 · kagentx

短答案

Cloudflare 2025-07-01 的新闻稿说默认拦截 AI 爬虫,现行文档(2026-11-02 更新)却写新域名的 Search、Agents、Training 默认都是放行,两处我们没有找到解释,所以以你自己后台为准:Security > Settings > AI Crawler and Agent access policies。把 Search 设成 Block,搜索型爬虫就进不来,robots.txt 写放行也没用。想被 AI 推荐,至少让 Search 和 Agent 保持 Allow。

Cloudflare 到底有没有默认拦 AI 爬虫?

两份 Cloudflare 的官方说法对不上,我们没有找到解释,所以并列写出来。2025-07-01 的新闻稿写的是:Cloudflare 现在默认拦截 AI 爬虫,新域名加入时会问站长要不要放行,之后可以随时改。现行开发者文档(页面标注 2026-11-02 更新)写的是:新域名的 Search、Agents、Training 三类默认都是“放行”。无论哪一种,最稳的做法是别猜,去自己站的后台看一眼,下面“怎么检查”一节给路径。

来源日期对新域名默认值的说法
Cloudflare 新闻稿2025-07-01默认拦截 AI 爬虫;新域名注册时询问是否放行,可随时更改
Cloudflare 开发者文档:AI Crawler and Agent access policies页面标注 2026-11-02 更新,我们 2026-11-07 查看Search、Agents、Training 三类默认都是 Allow(不拦截),之后可以改

Cloudflare 这几项功能分别是什么?

名字多、改过名,先对一遍。下面每一行都来自 Cloudflare 官方页面,2026-11-07 逐页打开核对:

名称是什么状态和日期
一键拦截 AI 爬虫2024-09 推出的开关新闻稿写有超过一百万客户开启(2025-07-01 的说法)
AI Crawl Control(原 AI Audit)看哪些 AI 服务在抓你的站,对单个爬虫设允许或拦截,跟踪 robots.txt 是否被遵守2025-08-28 博客宣布 AI Audit 改名并从 beta 转正式;文档写所有套餐可用
AI Crawler and Agent access policies按行为分三类设置:Search、Agent、Training现行设置名,旧名 Configure AI bot policies;文档 2026-11-02 更新
Pay per crawl给 AI 爬虫的每次访问定价,不付费返回 HTTP 402文档写“closed beta”(2026-07-28 更新),要申请
托管 robots.txtCloudflare 根据你的设置自动在 robots.txt 里加 AI 爬虫指令所有套餐;文档 2026-11-02 更新

Search、Agent、Training 三类设置,分别拦的是什么?

现行文档按爬虫的行为分类,而不是按公司。每类的动作可选:

类别官方定义例子(官方文档里的类型)
Search收集或索引内容,用于以后回答问题的爬虫搜索型爬虫
Agent代表某个人实时行动的自动化工具聊天里的抓取机器人、浏览器智能体
Training收集内容用来训练或微调模型的爬虫,包括同时用于训练和搜索的混合用途爬虫训练型爬虫
动作含义
Block在整个站点拦截匹配的请求
Block on pages with ads只在 Cloudflare 检测到广告的页面拦截
Allow (do not block)不拦截;想放行就选它
Disallow(仅 Training)通过 robots.txt 告诉爬虫别抓;这是自愿遵守,爬虫可以无视

对要被 AI 推荐的产品站有一个直接后果:把 Search 设成 Block,OAI-SearchBot、PerplexityBot 这类搜索爬虫就进不来,robots.txt 里写放行也没用,因为拦截发生在请求层。Training 里混合用途的爬虫也会受 Training 动作影响。各家爬虫的用途见 AI 爬虫 User-Agent 对照表。

Pay per crawl 和托管 robots.txt 对独立开发者有用吗?

Pay per crawl 目前不用考虑:文档写它还在 closed beta,要填申请表,作用是给 AI 爬虫的访问收费;Cloudflare 做收款方。它的工作方式是爬虫带付款意向就返回 200,否则返回包含价格的 HTTP 402。文档还写明:如果 WAF 或 Bot Management 的规则拦住了某个爬虫,这些规则优先于收费,爬虫进不去。

托管 robots.txt 值得知道。文档写它只在至少一类被设为 Block 或 Disallow 时才改你的 robots.txt;全部放行时原样返回你自己的文件。启用时它加的是 Disallow 规则和一段 Content Signals,默认是 search=yes, ai-train=no,示例里列了 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagent。所以如果你发现自己的 robots.txt 里多出了没写过的 AI 爬虫段落,来源多半是这里:

# What a Cloudflare-managed block looks like when Training is set to Disallow (shape only, not the full text)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# plus a Content Signals block, default: search=yes, ai-train=no

怎么检查我的站有没有拦 GPTBot、ClaudeBot、PerplexityBot?

  1. 1. 看 Cloudflare 后台的设置

    进入你的域名,Security > Settings,筛选 Bot traffic,打开 AI Crawler and Agent access policies(文档写的路径)。Search、Agent、Training 各是什么动作,一目了然。

  2. 2. 看 AI Crawl Control 的爬虫列表

    在后台进入 AI Crawl Control,打开 Crawlers 标签页,能看到访问你域名的 AI 爬虫;Action 列可选 Block。文档写:这个标签页的 Metrics 在部分套餐上只覆盖最近 24 小时,带 Bot Management 的企业版用更细的识别方式,其余按 User-Agent 识别。

  3. 3. 读你自己的 robots.txt

    打开 你的域名/robots.txt。如果有你没写过的 GPTBot、ClaudeBot 段落,就是托管 robots.txt 加的。也可以用 AI 爬虫检查 输入网址,它会告诉你每个爬虫在 robots.txt 里是放行还是拦截。

  4. 4. 用 curl 假装成爬虫请求一次

    下面这段会用四个爬虫名字请求你的首页。返回 403 或挑战页,说明有按 User-Agent 的拦截;200 说明这一类规则没拦。注意:它只测按 User-Agent 的规则,测不出按来源 IP 验证的规则,因为你的 IP 不是爬虫的 IP。

    # Does a rule that matches on the User-Agent string block this bot? (this does NOT test IP-based rules)
    for ua in "GPTBot" "ClaudeBot" "PerplexityBot" "OAI-SearchBot"; do
      printf "%s " "$ua"
      curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; $ua)" https://your-site.com/
    done
  5. 5. 最后以服务器日志为准

    只有在日志里看到真实爬虫的请求和状态码,才能确定它们进来了没有。查 PerplexityBot 的方法见 怎么让 Perplexity 推荐我的产品。

kagentx 自己的站是什么情况?

kagentx.com 就在 Cloudflare 上(响应头 server: cloudflare)。2026-11-07 我们读了它线上的 robots.txt:只有一组通用规则,放行所有爬虫,只禁了几个后台页面和 /api/,没有 Cloudflare 托管的 AI 爬虫段落:

User-agent: *
Allow: /

# Admin / local tools — no need to index
Disallow: /admin.html
Disallow: /candidates.html
Disallow: /api/

Sitemap: https://kagentx.com/sitemap.xml

用 GPTBot、ClaudeBot、PerplexityBot 的 User-Agent 字符串请求首页,三个都是 HTTP 200。这是我们在本机用字符串模拟的,不是真爬虫(来源 IP 不同),所以只能说明“按 User-Agent 拦截的规则没有生效”,不能证明真实爬虫一定进得来。

确认被拦了,怎么放行?

  1. 1. 把对应类别改成 Allow

    想出现在 AI 搜索回答里,至少让 Search 和 Agent 是 Allow(do not block)。是否放行 Training 是你自己的决定:它决定内容能否用于训练,和出现在搜索回答里是两件事。

  2. 2. 检查 Bot Fight Mode 和自定义规则

    Perplexity 的官方页写明:Bot Fight Mode 不能被自定义规则跳过,仍可能挑战它的爬虫。它建议建一条自定义规则,匹配 User-Agent 加官方 IP 列表,动作选 Skip,并放在所有拦截或挑战规则之上。

  3. 3. 同步检查 robots.txt

    关掉拦截后,确认 robots.txt 里没有残留的 Disallow。写法见 AI 爬虫的 robots.txt 怎么写。

  4. 4. 过一段时间看结果

    在 AI Crawl Control 的爬虫列表和日志里确认请求进来了。想知道 ChatGPT 的推荐怎么受影响,见 怎么让 ChatGPT 推荐我的产品。

不用 Cloudflare、直接看服务器日志的命令见 怎么在服务器日志里查 AI 爬虫来过没有。

想用 Cloudflare 限制爬虫的请求速度,见 AI 爬虫会抓太多吗?Crawl-delay 哪些爬虫认。

常见问题

Cloudflare 会默认拦截我的网站上的 AI 爬虫吗?

Cloudflare 2025-07-01 的新闻稿说默认拦截,新域名注册时会询问;现行文档(2026-11-02 更新)写新域名三类默认都是放行。两处说法不一致,请直接看你自己后台的 AI Crawler and Agent access policies。

AI Crawl Control 和 AI Audit 是同一个东西吗?

是。Cloudflare 2025-08-28 的博客写明 AI Audit 改名为 AI Crawl Control,并从 beta 转为正式。

Pay per crawl 现在能用吗?

文档(2026-07-28 更新)写它还在 closed beta,需要申请。它让站长给 AI 爬虫的访问定价,不付费会返回 HTTP 402。

为什么我的 robots.txt 里多了 GPTBot 的规则?

可能是 Cloudflare 的托管 robots.txt。文档写它在至少一类被设为 Block 或 Disallow 时,会把 AI 爬虫的 Disallow 规则和 Content Signals 加到你的 robots.txt 前面。

怎么放行 GPTBot、ClaudeBot、PerplexityBot?

在 Security > Settings 的 AI Crawler and Agent access policies 里把对应类别改成 Allow,再检查 Bot Fight Mode 和自定义规则,并确认 robots.txt 里没有残留的 Disallow。

出处

kagentx

你的页面,爬虫读得到吗?
让评测告诉你

评测检查爬虫能不能进、正文是否直出,再把买家的问题拿去问 ChatGPT、Perplexity、Claude(开联网搜索),看有没有提到你。基础版 $1,一般 2–3 分钟出结果。