Cloudflare 到底有没有默认拦 AI 爬虫?
两份 Cloudflare 的官方说法对不上,我们没有找到解释,所以并列写出来。2025-07-01 的新闻稿写的是:Cloudflare 现在默认拦截 AI 爬虫,新域名加入时会问站长要不要放行,之后可以随时改。现行开发者文档(页面标注 2026-11-02 更新)写的是:新域名的 Search、Agents、Training 三类默认都是“放行”。无论哪一种,最稳的做法是别猜,去自己站的后台看一眼,下面“怎么检查”一节给路径。
| 来源 | 日期 | 对新域名默认值的说法 |
|---|---|---|
| Cloudflare 新闻稿 | 2025-07-01 | 默认拦截 AI 爬虫;新域名注册时询问是否放行,可随时更改 |
| Cloudflare 开发者文档:AI Crawler and Agent access policies | 页面标注 2026-11-02 更新,我们 2026-11-07 查看 | Search、Agents、Training 三类默认都是 Allow(不拦截),之后可以改 |
Cloudflare 这几项功能分别是什么?
名字多、改过名,先对一遍。下面每一行都来自 Cloudflare 官方页面,2026-11-07 逐页打开核对:
| 名称 | 是什么 | 状态和日期 |
|---|---|---|
| 一键拦截 AI 爬虫 | 2024-09 推出的开关 | 新闻稿写有超过一百万客户开启(2025-07-01 的说法) |
| AI Crawl Control(原 AI Audit) | 看哪些 AI 服务在抓你的站,对单个爬虫设允许或拦截,跟踪 robots.txt 是否被遵守 | 2025-08-28 博客宣布 AI Audit 改名并从 beta 转正式;文档写所有套餐可用 |
| AI Crawler and Agent access policies | 按行为分三类设置:Search、Agent、Training | 现行设置名,旧名 Configure AI bot policies;文档 2026-11-02 更新 |
| Pay per crawl | 给 AI 爬虫的每次访问定价,不付费返回 HTTP 402 | 文档写“closed beta”(2026-07-28 更新),要申请 |
| 托管 robots.txt | Cloudflare 根据你的设置自动在 robots.txt 里加 AI 爬虫指令 | 所有套餐;文档 2026-11-02 更新 |
Search、Agent、Training 三类设置,分别拦的是什么?
现行文档按爬虫的行为分类,而不是按公司。每类的动作可选:
| 类别 | 官方定义 | 例子(官方文档里的类型) |
|---|---|---|
| Search | 收集或索引内容,用于以后回答问题的爬虫 | 搜索型爬虫 |
| Agent | 代表某个人实时行动的自动化工具 | 聊天里的抓取机器人、浏览器智能体 |
| Training | 收集内容用来训练或微调模型的爬虫,包括同时用于训练和搜索的混合用途爬虫 | 训练型爬虫 |
| 动作 | 含义 |
|---|---|
| Block | 在整个站点拦截匹配的请求 |
| Block on pages with ads | 只在 Cloudflare 检测到广告的页面拦截 |
| Allow (do not block) | 不拦截;想放行就选它 |
| Disallow(仅 Training) | 通过 robots.txt 告诉爬虫别抓;这是自愿遵守,爬虫可以无视 |
对要被 AI 推荐的产品站有一个直接后果:把 Search 设成 Block,OAI-SearchBot、PerplexityBot 这类搜索爬虫就进不来,robots.txt 里写放行也没用,因为拦截发生在请求层。Training 里混合用途的爬虫也会受 Training 动作影响。各家爬虫的用途见 AI 爬虫 User-Agent 对照表。
Pay per crawl 和托管 robots.txt 对独立开发者有用吗?
Pay per crawl 目前不用考虑:文档写它还在 closed beta,要填申请表,作用是给 AI 爬虫的访问收费;Cloudflare 做收款方。它的工作方式是爬虫带付款意向就返回 200,否则返回包含价格的 HTTP 402。文档还写明:如果 WAF 或 Bot Management 的规则拦住了某个爬虫,这些规则优先于收费,爬虫进不去。
托管 robots.txt 值得知道。文档写它只在至少一类被设为 Block 或 Disallow 时才改你的 robots.txt;全部放行时原样返回你自己的文件。启用时它加的是 Disallow 规则和一段 Content Signals,默认是 search=yes, ai-train=no,示例里列了 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagent。所以如果你发现自己的 robots.txt 里多出了没写过的 AI 爬虫段落,来源多半是这里:
# What a Cloudflare-managed block looks like when Training is set to Disallow (shape only, not the full text) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # plus a Content Signals block, default: search=yes, ai-train=no
怎么检查我的站有没有拦 GPTBot、ClaudeBot、PerplexityBot?
1. 看 Cloudflare 后台的设置
进入你的域名,Security > Settings,筛选 Bot traffic,打开 AI Crawler and Agent access policies(文档写的路径)。Search、Agent、Training 各是什么动作,一目了然。
2. 看 AI Crawl Control 的爬虫列表
在后台进入 AI Crawl Control,打开 Crawlers 标签页,能看到访问你域名的 AI 爬虫;Action 列可选 Block。文档写:这个标签页的 Metrics 在部分套餐上只覆盖最近 24 小时,带 Bot Management 的企业版用更细的识别方式,其余按 User-Agent 识别。
3. 读你自己的 robots.txt
打开 你的域名/robots.txt。如果有你没写过的 GPTBot、ClaudeBot 段落,就是托管 robots.txt 加的。也可以用 AI 爬虫检查 输入网址,它会告诉你每个爬虫在 robots.txt 里是放行还是拦截。
4. 用 curl 假装成爬虫请求一次
下面这段会用四个爬虫名字请求你的首页。返回 403 或挑战页,说明有按 User-Agent 的拦截;200 说明这一类规则没拦。注意:它只测按 User-Agent 的规则,测不出按来源 IP 验证的规则,因为你的 IP 不是爬虫的 IP。
# Does a rule that matches on the User-Agent string block this bot? (this does NOT test IP-based rules) for ua in "GPTBot" "ClaudeBot" "PerplexityBot" "OAI-SearchBot"; do printf "%s " "$ua" curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; $ua)" https://your-site.com/ done5. 最后以服务器日志为准
只有在日志里看到真实爬虫的请求和状态码,才能确定它们进来了没有。查 PerplexityBot 的方法见 怎么让 Perplexity 推荐我的产品。
kagentx 自己的站是什么情况?
kagentx.com 就在 Cloudflare 上(响应头 server: cloudflare)。2026-11-07 我们读了它线上的 robots.txt:只有一组通用规则,放行所有爬虫,只禁了几个后台页面和 /api/,没有 Cloudflare 托管的 AI 爬虫段落:
User-agent: * Allow: / # Admin / local tools — no need to index Disallow: /admin.html Disallow: /candidates.html Disallow: /api/ Sitemap: https://kagentx.com/sitemap.xml
用 GPTBot、ClaudeBot、PerplexityBot 的 User-Agent 字符串请求首页,三个都是 HTTP 200。这是我们在本机用字符串模拟的,不是真爬虫(来源 IP 不同),所以只能说明“按 User-Agent 拦截的规则没有生效”,不能证明真实爬虫一定进得来。
确认被拦了,怎么放行?
1. 把对应类别改成 Allow
想出现在 AI 搜索回答里,至少让 Search 和 Agent 是 Allow(do not block)。是否放行 Training 是你自己的决定:它决定内容能否用于训练,和出现在搜索回答里是两件事。
2. 检查 Bot Fight Mode 和自定义规则
Perplexity 的官方页写明:Bot Fight Mode 不能被自定义规则跳过,仍可能挑战它的爬虫。它建议建一条自定义规则,匹配 User-Agent 加官方 IP 列表,动作选 Skip,并放在所有拦截或挑战规则之上。
3. 同步检查 robots.txt
关掉拦截后,确认 robots.txt 里没有残留的 Disallow。写法见 AI 爬虫的 robots.txt 怎么写。
4. 过一段时间看结果
在 AI Crawl Control 的爬虫列表和日志里确认请求进来了。想知道 ChatGPT 的推荐怎么受影响,见 怎么让 ChatGPT 推荐我的产品。
不用 Cloudflare、直接看服务器日志的命令见 怎么在服务器日志里查 AI 爬虫来过没有。
想用 Cloudflare 限制爬虫的请求速度,见 AI 爬虫会抓太多吗?Crawl-delay 哪些爬虫认。
常见问题
Cloudflare 会默认拦截我的网站上的 AI 爬虫吗?
Cloudflare 2025-07-01 的新闻稿说默认拦截,新域名注册时会询问;现行文档(2026-11-02 更新)写新域名三类默认都是放行。两处说法不一致,请直接看你自己后台的 AI Crawler and Agent access policies。
AI Crawl Control 和 AI Audit 是同一个东西吗?
是。Cloudflare 2025-08-28 的博客写明 AI Audit 改名为 AI Crawl Control,并从 beta 转为正式。
Pay per crawl 现在能用吗?
文档(2026-07-28 更新)写它还在 closed beta,需要申请。它让站长给 AI 爬虫的访问定价,不付费会返回 HTTP 402。
为什么我的 robots.txt 里多了 GPTBot 的规则?
可能是 Cloudflare 的托管 robots.txt。文档写它在至少一类被设为 Block 或 Disallow 时,会把 AI 爬虫的 Disallow 规则和 Content Signals 加到你的 robots.txt 前面。
怎么放行 GPTBot、ClaudeBot、PerplexityBot?
在 Security > Settings 的 AI Crawler and Agent access policies 里把对应类别改成 Allow,再检查 Bot Fight Mode 和自定义规则,并确认 robots.txt 里没有残留的 Disallow。
出处
- Cloudflare · Cloudflare Just Changed How AI Crawlers Scrape the Internet at Large (2025-07-01 发表,2026-11-07 核对)
- Cloudflare · Introducing AI Crawl Control (2025-08-28 发表,2026-11-07 核对)
- Cloudflare · Introducing pay per crawl (2025-07-01 发表,2026-11-07 核对)
- Cloudflare · AI Crawler and Agent access policies (页面标注 2026-11-02 更新,2026-11-07 核对)
- Cloudflare · Managed robots.txt (页面标注 2026-11-02 更新,2026-11-07 核对)
- Cloudflare · AI Crawl Control (页面标注 2026-08-14 更新,2026-11-07 核对)
- Cloudflare · What is pay per crawl? (页面标注 2026-07-28 更新,2026-11-07 核对)
- Perplexity · Perplexity Crawlers (Cloudflare skip rule) (2026-11-07 核对,页面未写日期)
- kagentx · kagentx.com/robots.txt (2026-11-07 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。