Google 官方文件怎麼說每類狀態碼?
這一節完全來自 Google 的「HTTP 狀態碼、網絡和 DNS 錯誤」文件(2026-11-09 讀,頁面沒有寫更新日期)。它講的是 Google 搜尋的爬蟲,不是 AI 爬蟲。
| 狀態碼 | Google 文件的說法 |
|---|---|
| 200、201 | 交給下一步處理;「不保證被索引」 |
| 204 | 沒有內容,沒東西可處理 |
| 2xx 但頁面像錯誤頁 | Search Console 報 soft 404 |
| 301、308 | 跟隨,強信號:目標是該處理的網址 |
| 302、303、307 | 跟隨,弱信號 |
| 304 | 自上次抓取沒變 |
| 404、410(以及 400、401、403、411) | 當作內容不存在;已索引的會被移出;新發現的 404 頁不處理;抓取頻率逐漸降低 |
| 429 | 當作伺服器過載,按 5xx 處理 |
| 5xx 和 429 | 抓取速度暫時降低,恢復 2xx 後逐漸提高;已索引的 URL 先保留,最終會被丟棄 |
| 500、502、503 | 抓取速度按出錯 URL 的數量比例降低;持續返回伺服器錯誤的 URL 會被移出索引 |
另外三點:Googlebot 一般最多跟 10 跳重新導向;401 和 403 不要用來限制抓取速度;「持續」返回錯誤是多久,文件沒有寫具體天數。
OpenAI 和 Perplexity 的官方文件說了什麼?
我們讀了兩家的爬蟲頁面,都沒有提到狀態碼、重新導向或出錯時的抓取行為:
| 產品 | 讀到的頁面 | 狀態碼相關內容 |
|---|---|---|
| ChatGPT 搜尋(OAI-SearchBot) | developers.openai.com 爬蟲頁,2026-11-09 讀 | 沒有;只寫 opt out 的網站不會出現在 ChatGPT 搜尋答案裡,robots.txt 改動約 24 小時生效。狀態碼處理:官方未說明 |
| Perplexity(PerplexityBot) | docs.perplexity.ai 爬蟲頁,2026-11-09 讀 | 沒有。狀態碼處理:官方未說明(只核對了這一頁) |
所以對 AI 爬蟲,我們只能說:按 Google 的規則把狀態碼設對,是最保險的做法,因為它符合 HTTP 的通用含義;至于具體某個 AI 爬蟲碰到 404 或 429 會怎麼做,沒有官方書面說明。爬蟲名單見 AI 爬蟲 User-Agent 對照表。
我們四個站不存在的地址返回什麼?
2026-11-09 我們用 curl 請求每個站一個肯定不存在的地址 /this-page-does-not-exist-20261109/,另外請求一個不存在的 .pdf 文件。分別用普通瀏覽器 UA、GPTBot/1.1、PerplexityBot/1.0、Googlebot/2.1 各請求一次,四個站的狀態碼都和 UA 無關。
| 網站 | 不存在的地址 | 回應類型和大小 | 頁面標題或內容 |
|---|---|---|---|
| kagentx.com | 404 | 空回應本文,0 字節 | 無 |
| mochistamp.com | 404 | application/json,63 字節 | {"code":404,"message_key":"requestFailed","detail":"Not Found"} |
| gammaslide.com | 404 | text/html,3939 字節 | Page not found | Gamma AI Slide |
| pagent.kagentx.com | 404 | text/html,5474 字節 | Not found · Pagent |
四個站都沒有 soft 404:不存在的地址都返回真正的 404,而不是 200 加一個「沒找到」的頁面。差別在回應本文:kagentx.com 返回空體,mochistamp.com 返回一段 JSON,gammaslide.com 和 pagent.kagentx.com 返回帶標題的 HTML 錯誤頁。對爬蟲來說狀態碼已經說明了一切,但對人來說,帶導航的錯誤頁更有用。
其他幾項實測:
| 檢查項目 | 結果 |
|---|---|
| http:// 訪問四個站的首頁 | 都是 301 到 https |
| www.kagentx.com、www.gammaslide.com | 都是 301 到不帶 www 的域名 |
| kagentx.com/guides(少結尾斜杠) | 307(臨時重新導向)到 /guides/;這是我們自己的待辦:永久性的補斜杠跳轉應該用 301 |
| kagentx.com/p/zz-nope/(不存在的產品頁) | 404,回應本文 155268 字節(產品庫的外殼頁,狀態碼是對的) |
| kagentx.com 的 /agents/、/zh/、/guides/ 下的不存在地址 | 404,0 字節 |
| mochistamp.com/en/guide/size | 200 |
這次只測了「不存在的地址」和重新導向,沒有測 5xx 和 429:我們沒有辦法在線上安全地制造這兩種狀態。
怎麼檢查你的站是不是 soft 404?
curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
-A "GPTBot/1.1" https://example.com/this-page-does-not-exist/
# expected: 404 text/html 3939 (a real error page with a real 404 status)
# warning: 200 text/html 3939 (the same page served as 200 = a soft 404)
用一個肯定不存在的地址、再換成 AI 爬蟲的 User-Agent 各請求一次,看狀態碼。返回 200 的錯誤頁就是 soft 404,要改。
哪些情況該用哪個狀態碼?
| 情況 | 用這個 | 理由(出處) |
|---|---|---|
| 頁面永久搬到新地址 | 301(或 308) | Google:強信號,目標是該處理的網址 |
| 臨時跳轉(活動頁、維護頁) | 302 或 307 | Google:弱信號 |
| 頁面刪除了,沒有替代 | 404 或 410 | Google:處理相同,已索引的會被移出 |
| 想讓爬蟲慢一點 | 429 或 503 | Google:抓取速度暫時降低,恢復後逐漸提高 |
| 想擋住某個爬蟲 | robots.txt 或防火牆規則;不要用 401、403 限速 | Google:401、403 不要用來限制抓取速度 |
| 伺服器故障 | 5xx,儘快恢復 | Google:持續返回伺服器錯誤的 URL 會被移出索引 |
搬家的完整做法見 換網域、改網址,怎麼保住搜尋和 AI 的引用?;robots.txt 的寫法見 AI 爬蟲的 robots.txt 怎麼寫?;在 Cloudflare 上按爬蟲限速見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行;已刪除的 PDF 同理,PDF 的其他規則見 PDF 白皮書會被 AI 引用嗎?該不該把內容放進 PDF。
怎麼確認爬蟲實際拿到了什麼狀態碼?
1. 用 curl 測不存在的地址
換幾個 User-Agent 各測一次,確認返回的是真 404,不是 200。
2. 看伺服器日誌
過濾爬蟲的請求,按狀態碼統計。哪些頁面在返回 404、429、5xx 一目了然,方法見 怎麼查 GPTBot 等 AI 爬蟲有沒有來過我的網站?。
3. 檢查重新導向鏈
永久搬家用 301,鏈條不要超過幾跳;Google 一般最多跟 10 跳。
4. robots.txt 本身要能訪問
Google 的文件說 robots.txt 返回 5xx 會讓它先停止抓取 12 小時;返回 4xx(429 除外)則當作沒有 robots.txt。
5. 理解抓取預算
錯誤太多會白白消耗抓取,見 AI 爬蟲會抓太多嗎?Crawl-delay 哪些爬蟲認。
少結尾斜線的網址回傳 307 還是 301、Google 怎麼看,見 結尾斜線的重新導向是 307,對 SEO 有影響嗎?301、302、307、308 怎麼選。
常見問題
404 和 410 對搜尋有區別嗎?
Google 的文件把 404 和 410 放在一起,處理相同:當作內容不存在,已索引的會被移出,新發現的 404 頁不處理。需要告訴爬蟲「這個頁永久沒了」也不必特意改成 410。AI 爬蟲是否區分:官方未說明。
什麼是 soft 404?
頁面實際是錯誤頁、空頁或提示「沒找到」,卻返回了 200。Google 的文件說 2xx 的頁面看起來像錯誤時,Search Console 會報 soft 404。解決辦法是真的返回 404 或 410,或者重新導向到合適的頁面。
301 和 302 該用哪個?
地址永久變了用 301(308 等價),Google 把它當強信號,認為目標是該處理的網址;臨時跳轉用 302 或 307,是弱信號。永久搬家用臨時跳轉,信號就弱。AI 爬蟲是否同樣處理:官方未說明。
429 會讓爬蟲怎麼做?
Google 把 429 當作伺服器過載,按 5xx 處理:抓取速度暫時降低,恢復 2xx 後逐漸提高。想限制爬蟲,用 429 或 503,不要用 401、403,Google 的文件明確說 429 以外的 4xx 不影響抓取速率。其他爬蟲怎麼處理 429:官方未說明。
伺服器出 5xx 會掉出索引嗎?
偶發的不會。Google 的文件說已索引的 URL 先保留,持續返回伺服器錯誤的會被移出索引;「持續」多久,文件沒寫。所以出了故障要儘快恢復,並看日誌確認爬蟲拿到的是什麼。
出處
- Google · HTTP status codes, and network and DNS errors (2026-11-09 核對,頁面未寫更新日期)
- Google · How Google interprets the robots.txt specification (2026-11-09 核對,頁面未寫更新日期)
- OpenAI · Overview of OpenAI Crawlers (2026-11-09 核對,頁面未寫更新日期,頁面沒有講狀態碼)
- Perplexity · Perplexity Crawlers (2026-11-09 核對,頁面未寫更新日期,頁面沒有講狀態碼)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。