Google 官方文档怎么说每类状态码?
这一节完全来自 Google 的“HTTP 状态码、网络和 DNS 错误”文档(2026-11-09 读,页面没有写更新日期)。它讲的是 Google 搜索的爬虫,不是 AI 爬虫。
| 状态码 | Google 文档的说法 |
|---|---|
| 200、201 | 交给下一步处理;“不保证被索引” |
| 204 | 没有内容,没东西可处理 |
| 2xx 但页面像错误页 | Search Console 报 soft 404 |
| 301、308 | 跟随,强信号:目标是该处理的网址 |
| 302、303、307 | 跟随,弱信号 |
| 304 | 自上次抓取没变 |
| 404、410(以及 400、401、403、411) | 当作内容不存在;已索引的会被移出;新发现的 404 页不处理;抓取频率逐渐降低 |
| 429 | 当作服务器过载,按 5xx 处理 |
| 5xx 和 429 | 抓取速度暂时降低,恢复 2xx 后逐渐提高;已索引的 URL 先保留,最终会被丢弃 |
| 500、502、503 | 抓取速度按出错 URL 的数量比例降低;持续返回服务器错误的 URL 会被移出索引 |
另外三点:Googlebot 一般最多跟 10 跳重定向;401 和 403 不要用来限制抓取速度;“持续”返回错误是多久,文档没有写具体天数。
OpenAI 和 Perplexity 的官方文档说了什么?
我们读了两家的爬虫页面,都没有提到状态码、重定向或出错时的抓取行为:
| 产品 | 读到的页面 | 状态码相关内容 |
|---|---|---|
| ChatGPT 搜索(OAI-SearchBot) | developers.openai.com 爬虫页,2026-11-09 读 | 没有;只写 opt out 的网站不会出现在 ChatGPT 搜索答案里,robots.txt 改动约 24 小时生效。状态码处理:官方未说明 |
| Perplexity(PerplexityBot) | docs.perplexity.ai 爬虫页,2026-11-09 读 | 没有。状态码处理:官方未说明(只核对了这一页) |
所以对 AI 爬虫,我们只能说:按 Google 的规则把状态码设对,是最保险的做法,因为它符合 HTTP 的通用含义;至于具体某个 AI 爬虫碰到 404 或 429 会怎么做,没有官方书面说明。爬虫名单见 AI 爬虫 User-Agent 对照表。
我们四个站不存在的地址返回什么?
2026-11-09 我们用 curl 请求每个站一个肯定不存在的地址 /this-page-does-not-exist-20261109/,另外请求一个不存在的 .pdf 文件。分别用普通浏览器 UA、GPTBot/1.1、PerplexityBot/1.0、Googlebot/2.1 各请求一次,四个站的状态码都和 UA 无关。
| 站点 | 不存在的地址 | 响应类型和大小 | 页面标题或内容 |
|---|---|---|---|
| kagentx.com | 404 | 空响应体,0 字节 | 无 |
| mochistamp.com | 404 | application/json,63 字节 | {"code":404,"message_key":"requestFailed","detail":"Not Found"} |
| gammaslide.com | 404 | text/html,3939 字节 | Page not found | Gamma AI Slide |
| pagent.kagentx.com | 404 | text/html,5474 字节 | Not found · Pagent |
四个站都没有 soft 404:不存在的地址都返回真正的 404,而不是 200 加一个“没找到”的页面。差别在响应体:kagentx.com 返回空体,mochistamp.com 返回一段 JSON,gammaslide.com 和 pagent.kagentx.com 返回带标题的 HTML 错误页。对爬虫来说状态码已经说明了一切,但对人来说,带导航的错误页更有用。
其他几项实测:
| 检查项 | 结果 |
|---|---|
| http:// 访问四个站的首页 | 都是 301 到 https |
| www.kagentx.com、www.gammaslide.com | 都是 301 到不带 www 的域名 |
| kagentx.com/guides(少结尾斜杠) | 307(临时重定向)到 /guides/;这是我们自己的待办:永久性的补斜杠跳转应该用 301 |
| kagentx.com/p/zz-nope/(不存在的产品页) | 404,响应体 155268 字节(产品库的外壳页,状态码是对的) |
| kagentx.com 的 /agents/、/zh/、/guides/ 下的不存在地址 | 404,0 字节 |
| mochistamp.com/en/guide/size | 200 |
这次只测了“不存在的地址”和重定向,没有测 5xx 和 429:我们没有办法在线上安全地制造这两种状态。
怎么检查你的站是不是 soft 404?
curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
-A "GPTBot/1.1" https://example.com/this-page-does-not-exist/
# expected: 404 text/html 3939 (a real error page with a real 404 status)
# warning: 200 text/html 3939 (the same page served as 200 = a soft 404)
用一个肯定不存在的地址、再换成 AI 爬虫的 User-Agent 各请求一次,看状态码。返回 200 的错误页就是 soft 404,要改。
哪些情况该用哪个状态码?
| 情况 | 用这个 | 理由(出处) |
|---|---|---|
| 页面永久搬到新地址 | 301(或 308) | Google:强信号,目标是该处理的网址 |
| 临时跳转(活动页、维护页) | 302 或 307 | Google:弱信号 |
| 页面删除了,没有替代 | 404 或 410 | Google:处理相同,已索引的会被移出 |
| 想让爬虫慢一点 | 429 或 503 | Google:抓取速度暂时降低,恢复后逐渐提高 |
| 想挡住某个爬虫 | robots.txt 或防火墙规则;不要用 401、403 限速 | Google:401、403 不要用来限制抓取速度 |
| 服务器故障 | 5xx,尽快恢复 | Google:持续返回服务器错误的 URL 会被移出索引 |
搬家的完整做法见 换域名、改网址,怎么保住搜索和 AI 的引用?;robots.txt 的写法见 AI 爬虫的 robots.txt 怎么写?;在 Cloudflare 上按爬虫限速见 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行;已删除的 PDF 同理,PDF 的其他规则见 PDF 白皮书会被 AI 引用吗?该不该把内容放进 PDF。
怎么确认爬虫实际拿到了什么状态码?
1. 用 curl 测不存在的地址
换几个 User-Agent 各测一次,确认返回的是真 404,不是 200。
2. 看服务器日志
过滤爬虫的请求,按状态码统计。哪些页面在返回 404、429、5xx 一目了然,方法见 怎么查 GPTBot 等 AI 爬虫有没有来过我的网站?。
3. 检查重定向链
永久搬家用 301,链条不要超过几跳;Google 一般最多跟 10 跳。
4. robots.txt 本身要能访问
Google 的文档说 robots.txt 返回 5xx 会让它先停止抓取 12 小时;返回 4xx(429 除外)则当作没有 robots.txt。
5. 理解抓取预算
错误太多会白白消耗抓取,见 AI 爬虫会抓太多吗?Crawl-delay 哪些爬虫认。
少结尾斜杠的地址返回 307 还是 301、Google 怎么看,见 结尾斜杠的重定向是 307,对 SEO 有影响吗?301、302、307、308 怎么选。
常见问题
404 和 410 对搜索有区别吗?
Google 的文档把 404 和 410 放在一起,处理相同:当作内容不存在,已索引的会被移出,新发现的 404 页不处理。需要告诉爬虫“这个页永久没了”也不必特意改成 410。AI 爬虫是否区分:官方未说明。
什么是 soft 404?
页面实际是错误页、空页或提示“没找到”,却返回了 200。Google 的文档说 2xx 的页面看起来像错误时,Search Console 会报 soft 404。解决办法是真的返回 404 或 410,或者重定向到合适的页面。
301 和 302 该用哪个?
地址永久变了用 301(308 等价),Google 把它当强信号,认为目标是该处理的网址;临时跳转用 302 或 307,是弱信号。永久搬家用临时跳转,信号就弱。AI 爬虫是否同样处理:官方未说明。
429 会让爬虫怎么做?
Google 把 429 当作服务器过载,按 5xx 处理:抓取速度暂时降低,恢复 2xx 后逐渐提高。想限制爬虫,用 429 或 503,不要用 401、403,Google 的文档明确说 429 以外的 4xx 不影响抓取速率。其他爬虫怎么处理 429:官方未说明。
服务器出 5xx 会掉出索引吗?
偶发的不会。Google 的文档说已索引的 URL 先保留,持续返回服务器错误的会被移出索引;“持续”多久,文档没写。所以出了故障要尽快恢复,并看日志确认爬虫拿到的是什么。
出处
- Google · HTTP status codes, and network and DNS errors (2026-11-09 核对,页面未写更新日期)
- Google · How Google interprets the robots.txt specification (2026-11-09 核对,页面未写更新日期)
- OpenAI · Overview of OpenAI Crawlers (2026-11-09 核对,页面未写更新日期,页面没有讲状态码)
- Perplexity · Perplexity Crawlers (2026-11-09 核对,页面未写更新日期,页面没有讲状态码)
- kagentx 评测:案例页的数据,日期写在每个例子里。