指南 · 狀態碼

HTTP 狀態碼對 AI 爬蟲有什麼影響?404、410、301、429、5xx

更新於 2026-11-09 · kagentx

簡答

Google 的官方文件把 404 和 410 一樣處理,301 是強信號、302 是弱信號,429 和 5xx 會讓抓取速度暫時降低,持續的 5xx 會讓頁面掉出索引。OpenAI 和 Perplexity 我們讀到的頁面沒有寫狀態碼,寫官方未說明。我們 2026-11-09 用 curl 測了四個站不存在的地址,全部是真正的 404,沒有 soft 404。

Google 官方文件怎麼說每類狀態碼?

這一節完全來自 Google 的「HTTP 狀態碼、網絡和 DNS 錯誤」文件(2026-11-09 讀,頁面沒有寫更新日期)。它講的是 Google 搜尋的爬蟲,不是 AI 爬蟲。

狀態碼Google 文件的說法
200、201交給下一步處理;「不保證被索引」
204沒有內容,沒東西可處理
2xx 但頁面像錯誤頁Search Console 報 soft 404
301、308跟隨,強信號:目標是該處理的網址
302、303、307跟隨,弱信號
304自上次抓取沒變
404、410(以及 400、401、403、411)當作內容不存在;已索引的會被移出;新發現的 404 頁不處理;抓取頻率逐漸降低
429當作伺服器過載,按 5xx 處理
5xx 和 429抓取速度暫時降低,恢復 2xx 後逐漸提高;已索引的 URL 先保留,最終會被丟棄
500、502、503抓取速度按出錯 URL 的數量比例降低;持續返回伺服器錯誤的 URL 會被移出索引

另外三點:Googlebot 一般最多跟 10 跳重新導向;401 和 403 不要用來限制抓取速度;「持續」返回錯誤是多久,文件沒有寫具體天數。

OpenAI 和 Perplexity 的官方文件說了什麼?

我們讀了兩家的爬蟲頁面,都沒有提到狀態碼、重新導向或出錯時的抓取行為:

產品讀到的頁面狀態碼相關內容
ChatGPT 搜尋(OAI-SearchBot)developers.openai.com 爬蟲頁,2026-11-09 讀沒有;只寫 opt out 的網站不會出現在 ChatGPT 搜尋答案裡,robots.txt 改動約 24 小時生效。狀態碼處理:官方未說明
Perplexity(PerplexityBot)docs.perplexity.ai 爬蟲頁,2026-11-09 讀沒有。狀態碼處理:官方未說明(只核對了這一頁)

所以對 AI 爬蟲,我們只能說:按 Google 的規則把狀態碼設對,是最保險的做法,因為它符合 HTTP 的通用含義;至于具體某個 AI 爬蟲碰到 404 或 429 會怎麼做,沒有官方書面說明。爬蟲名單見 AI 爬蟲 User-Agent 對照表。

我們四個站不存在的地址返回什麼?

2026-11-09 我們用 curl 請求每個站一個肯定不存在的地址 /this-page-does-not-exist-20261109/,另外請求一個不存在的 .pdf 文件。分別用普通瀏覽器 UA、GPTBot/1.1、PerplexityBot/1.0、Googlebot/2.1 各請求一次,四個站的狀態碼都和 UA 無關。

網站不存在的地址回應類型和大小頁面標題或內容
kagentx.com404空回應本文,0 字節無
mochistamp.com404application/json,63 字節{"code":404,"message_key":"requestFailed","detail":"Not Found"}
gammaslide.com404text/html,3939 字節Page not found | Gamma AI Slide
pagent.kagentx.com404text/html,5474 字節Not found · Pagent

四個站都沒有 soft 404:不存在的地址都返回真正的 404,而不是 200 加一個「沒找到」的頁面。差別在回應本文:kagentx.com 返回空體,mochistamp.com 返回一段 JSON,gammaslide.com 和 pagent.kagentx.com 返回帶標題的 HTML 錯誤頁。對爬蟲來說狀態碼已經說明了一切,但對人來說,帶導航的錯誤頁更有用。

其他幾項實測:

檢查項目結果
http:// 訪問四個站的首頁都是 301 到 https
www.kagentx.com、www.gammaslide.com都是 301 到不帶 www 的域名
kagentx.com/guides(少結尾斜杠)307(臨時重新導向)到 /guides/;這是我們自己的待辦:永久性的補斜杠跳轉應該用 301
kagentx.com/p/zz-nope/(不存在的產品頁)404,回應本文 155268 字節(產品庫的外殼頁,狀態碼是對的)
kagentx.com 的 /agents/、/zh/、/guides/ 下的不存在地址404,0 字節
mochistamp.com/en/guide/size200

這次只測了「不存在的地址」和重新導向,沒有測 5xx 和 429:我們沒有辦法在線上安全地制造這兩種狀態。

怎麼檢查你的站是不是 soft 404?

curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" \
  -A "GPTBot/1.1" https://example.com/this-page-does-not-exist/
# expected: 404 text/html 3939   (a real error page with a real 404 status)
# warning:  200 text/html 3939   (the same page served as 200 = a soft 404)

用一個肯定不存在的地址、再換成 AI 爬蟲的 User-Agent 各請求一次,看狀態碼。返回 200 的錯誤頁就是 soft 404,要改。

哪些情況該用哪個狀態碼?

情況用這個理由(出處)
頁面永久搬到新地址301(或 308)Google:強信號,目標是該處理的網址
臨時跳轉(活動頁、維護頁)302 或 307Google:弱信號
頁面刪除了,沒有替代404 或 410Google:處理相同,已索引的會被移出
想讓爬蟲慢一點429 或 503Google:抓取速度暫時降低,恢復後逐漸提高
想擋住某個爬蟲robots.txt 或防火牆規則;不要用 401、403 限速Google:401、403 不要用來限制抓取速度
伺服器故障5xx,儘快恢復Google:持續返回伺服器錯誤的 URL 會被移出索引

搬家的完整做法見 換網域、改網址,怎麼保住搜尋和 AI 的引用?;robots.txt 的寫法見 AI 爬蟲的 robots.txt 怎麼寫?;在 Cloudflare 上按爬蟲限速見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行;已刪除的 PDF 同理,PDF 的其他規則見 PDF 白皮書會被 AI 引用嗎?該不該把內容放進 PDF。

怎麼確認爬蟲實際拿到了什麼狀態碼?

  1. 1. 用 curl 測不存在的地址

    換幾個 User-Agent 各測一次,確認返回的是真 404,不是 200。

  2. 2. 看伺服器日誌

    過濾爬蟲的請求,按狀態碼統計。哪些頁面在返回 404、429、5xx 一目了然,方法見 怎麼查 GPTBot 等 AI 爬蟲有沒有來過我的網站?。

  3. 3. 檢查重新導向鏈

    永久搬家用 301,鏈條不要超過幾跳;Google 一般最多跟 10 跳。

  4. 4. robots.txt 本身要能訪問

    Google 的文件說 robots.txt 返回 5xx 會讓它先停止抓取 12 小時;返回 4xx(429 除外)則當作沒有 robots.txt。

  5. 5. 理解抓取預算

    錯誤太多會白白消耗抓取,見 AI 爬蟲會抓太多嗎?Crawl-delay 哪些爬蟲認。

少結尾斜線的網址回傳 307 還是 301、Google 怎麼看,見 結尾斜線的重新導向是 307,對 SEO 有影響嗎?301、302、307、308 怎麼選。

常見問題

404 和 410 對搜尋有區別嗎?

Google 的文件把 404 和 410 放在一起,處理相同:當作內容不存在,已索引的會被移出,新發現的 404 頁不處理。需要告訴爬蟲「這個頁永久沒了」也不必特意改成 410。AI 爬蟲是否區分:官方未說明。

什麼是 soft 404?

頁面實際是錯誤頁、空頁或提示「沒找到」,卻返回了 200。Google 的文件說 2xx 的頁面看起來像錯誤時,Search Console 會報 soft 404。解決辦法是真的返回 404 或 410,或者重新導向到合適的頁面。

301 和 302 該用哪個?

地址永久變了用 301(308 等價),Google 把它當強信號,認為目標是該處理的網址;臨時跳轉用 302 或 307,是弱信號。永久搬家用臨時跳轉,信號就弱。AI 爬蟲是否同樣處理:官方未說明。

429 會讓爬蟲怎麼做?

Google 把 429 當作伺服器過載,按 5xx 處理:抓取速度暫時降低,恢復 2xx 後逐漸提高。想限制爬蟲,用 429 或 503,不要用 401、403,Google 的文件明確說 429 以外的 4xx 不影響抓取速率。其他爬蟲怎麼處理 429:官方未說明。

伺服器出 5xx 會掉出索引嗎?

偶發的不會。Google 的文件說已索引的 URL 先保留,持續返回伺服器錯誤的會被移出索引;「持續」多久,文件沒寫。所以出了故障要儘快恢復,並看日誌確認爬蟲拿到的是什麼。

出處

kagentx

你的頁面,爬蟲讀得到嗎?
讓評測告訴你

評測檢查爬蟲能不能進、正文是否直出,再把買家的問題拿去問 ChatGPT、Perplexity、Claude(開連網搜尋),看有沒有提到你。基礎版 $1,一般 2–3 分鐘出結果。