指南 · 状态码

HTTP 状态码对 AI 爬虫有什么影响?404、410、301、429、5xx

更新于 2026-11-09 · kagentx

短答案

Google 的官方文档把 404 和 410 一样处理,301 是强信号、302 是弱信号,429 和 5xx 会让抓取速度暂时降低,持续的 5xx 会让页面掉出索引。OpenAI 和 Perplexity 我们读到的页面没有写状态码,写官方未说明。我们 2026-11-09 用 curl 测了四个站不存在的地址,全部是真正的 404,没有 soft 404。

Google 官方文档怎么说每类状态码?

这一节完全来自 Google 的“HTTP 状态码、网络和 DNS 错误”文档(2026-11-09 读,页面没有写更新日期)。它讲的是 Google 搜索的爬虫,不是 AI 爬虫。

状态码Google 文档的说法
200、201交给下一步处理;“不保证被索引”
204没有内容,没东西可处理
2xx 但页面像错误页Search Console 报 soft 404
301、308跟随,强信号:目标是该处理的网址
302、303、307跟随,弱信号
304自上次抓取没变
404、410(以及 400、401、403、411)当作内容不存在;已索引的会被移出;新发现的 404 页不处理;抓取频率逐渐降低
429当作服务器过载,按 5xx 处理
5xx 和 429抓取速度暂时降低,恢复 2xx 后逐渐提高;已索引的 URL 先保留,最终会被丢弃
500、502、503抓取速度按出错 URL 的数量比例降低;持续返回服务器错误的 URL 会被移出索引

另外三点:Googlebot 一般最多跟 10 跳重定向;401 和 403 不要用来限制抓取速度;“持续”返回错误是多久,文档没有写具体天数。

OpenAI 和 Perplexity 的官方文档说了什么?

我们读了两家的爬虫页面,都没有提到状态码、重定向或出错时的抓取行为:

产品读到的页面状态码相关内容
ChatGPT 搜索(OAI-SearchBot)developers.openai.com 爬虫页,2026-11-09 读没有;只写 opt out 的网站不会出现在 ChatGPT 搜索答案里,robots.txt 改动约 24 小时生效。状态码处理:官方未说明
Perplexity(PerplexityBot)docs.perplexity.ai 爬虫页,2026-11-09 读没有。状态码处理:官方未说明(只核对了这一页)

所以对 AI 爬虫,我们只能说:按 Google 的规则把状态码设对,是最保险的做法,因为它符合 HTTP 的通用含义;至于具体某个 AI 爬虫碰到 404 或 429 会怎么做,没有官方书面说明。爬虫名单见 AI 爬虫 User-Agent 对照表。

我们四个站不存在的地址返回什么?

2026-11-09 我们用 curl 请求每个站一个肯定不存在的地址 /this-page-does-not-exist-20261109/,另外请求一个不存在的 .pdf 文件。分别用普通浏览器 UA、GPTBot/1.1、PerplexityBot/1.0、Googlebot/2.1 各请求一次,四个站的状态码都和 UA 无关。

站点不存在的地址响应类型和大小页面标题或内容
kagentx.com404空响应体,0 字节无
mochistamp.com404application/json,63 字节{"code":404,"message_key":"requestFailed","detail":"Not Found"}
gammaslide.com404text/html,3939 字节Page not found | Gamma AI Slide
pagent.kagentx.com404text/html,5474 字节Not found · Pagent

四个站都没有 soft 404:不存在的地址都返回真正的 404,而不是 200 加一个“没找到”的页面。差别在响应体:kagentx.com 返回空体,mochistamp.com 返回一段 JSON,gammaslide.com 和 pagent.kagentx.com 返回带标题的 HTML 错误页。对爬虫来说状态码已经说明了一切,但对人来说,带导航的错误页更有用。

其他几项实测:

检查项结果
http:// 访问四个站的首页都是 301 到 https
www.kagentx.com、www.gammaslide.com都是 301 到不带 www 的域名
kagentx.com/guides(少结尾斜杠)307(临时重定向)到 /guides/;这是我们自己的待办:永久性的补斜杠跳转应该用 301
kagentx.com/p/zz-nope/(不存在的产品页)404,响应体 155268 字节(产品库的外壳页,状态码是对的)
kagentx.com 的 /agents/、/zh/、/guides/ 下的不存在地址404,0 字节
mochistamp.com/en/guide/size200

这次只测了“不存在的地址”和重定向,没有测 5xx 和 429:我们没有办法在线上安全地制造这两种状态。

怎么检查你的站是不是 soft 404?

curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
  -A "GPTBot/1.1" https://example.com/this-page-does-not-exist/
# expected: 404 text/html 3939   (a real error page with a real 404 status)
# warning:  200 text/html 3939   (the same page served as 200 = a soft 404)

用一个肯定不存在的地址、再换成 AI 爬虫的 User-Agent 各请求一次,看状态码。返回 200 的错误页就是 soft 404,要改。

哪些情况该用哪个状态码?

情况用这个理由(出处)
页面永久搬到新地址301(或 308)Google:强信号,目标是该处理的网址
临时跳转(活动页、维护页)302 或 307Google:弱信号
页面删除了,没有替代404 或 410Google:处理相同,已索引的会被移出
想让爬虫慢一点429 或 503Google:抓取速度暂时降低,恢复后逐渐提高
想挡住某个爬虫robots.txt 或防火墙规则;不要用 401、403 限速Google:401、403 不要用来限制抓取速度
服务器故障5xx,尽快恢复Google:持续返回服务器错误的 URL 会被移出索引

搬家的完整做法见 换域名、改网址,怎么保住搜索和 AI 的引用?;robots.txt 的写法见 AI 爬虫的 robots.txt 怎么写?;在 Cloudflare 上按爬虫限速见 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行;已删除的 PDF 同理,PDF 的其他规则见 PDF 白皮书会被 AI 引用吗?该不该把内容放进 PDF。

怎么确认爬虫实际拿到了什么状态码?

  1. 1. 用 curl 测不存在的地址

    换几个 User-Agent 各测一次,确认返回的是真 404,不是 200。

  2. 2. 看服务器日志

    过滤爬虫的请求,按状态码统计。哪些页面在返回 404、429、5xx 一目了然,方法见 怎么查 GPTBot 等 AI 爬虫有没有来过我的网站?。

  3. 3. 检查重定向链

    永久搬家用 301,链条不要超过几跳;Google 一般最多跟 10 跳。

  4. 4. robots.txt 本身要能访问

    Google 的文档说 robots.txt 返回 5xx 会让它先停止抓取 12 小时;返回 4xx(429 除外)则当作没有 robots.txt。

  5. 5. 理解抓取预算

    错误太多会白白消耗抓取,见 AI 爬虫会抓太多吗?Crawl-delay 哪些爬虫认。

少结尾斜杠的地址返回 307 还是 301、Google 怎么看,见 结尾斜杠的重定向是 307,对 SEO 有影响吗?301、302、307、308 怎么选。

常见问题

404 和 410 对搜索有区别吗?

Google 的文档把 404 和 410 放在一起,处理相同:当作内容不存在,已索引的会被移出,新发现的 404 页不处理。需要告诉爬虫“这个页永久没了”也不必特意改成 410。AI 爬虫是否区分:官方未说明。

什么是 soft 404?

页面实际是错误页、空页或提示“没找到”,却返回了 200。Google 的文档说 2xx 的页面看起来像错误时,Search Console 会报 soft 404。解决办法是真的返回 404 或 410,或者重定向到合适的页面。

301 和 302 该用哪个?

地址永久变了用 301(308 等价),Google 把它当强信号,认为目标是该处理的网址;临时跳转用 302 或 307,是弱信号。永久搬家用临时跳转,信号就弱。AI 爬虫是否同样处理:官方未说明。

429 会让爬虫怎么做?

Google 把 429 当作服务器过载,按 5xx 处理:抓取速度暂时降低,恢复 2xx 后逐渐提高。想限制爬虫,用 429 或 503,不要用 401、403,Google 的文档明确说 429 以外的 4xx 不影响抓取速率。其他爬虫怎么处理 429:官方未说明。

服务器出 5xx 会掉出索引吗?

偶发的不会。Google 的文档说已索引的 URL 先保留,持续返回服务器错误的会被移出索引;“持续”多久,文档没写。所以出了故障要尽快恢复,并看日志确认爬虫拿到的是什么。

出处

kagentx

你的页面,爬虫读得到吗?
让评测告诉你

评测检查爬虫能不能进、正文是否直出,再把买家的问题拿去问 ChatGPT、Perplexity、Claude(开联网搜索),看有没有提到你。基础版 $1,一般 2–3 分钟出结果。