指南 · 頁面收錄

薄內容頁該不該 noindex?對 Google 和 AI 搜尋有什麼影響

更新於 2026-11-10 · kagentx

簡答

有用但沒有獨特內容的頁,加 noindex 並保留給使用者;不要用 robots.txt Disallow 去代替,因為被禁抓的頁 Google 看不到 noindex。Google 官方文件寫明 noindex 是「不在搜尋結果中顯示」;OpenAI、Perplexity、Anthropic 的爬蟲文件只講 robots.txt,沒有提 noindex,所以 AI 爬蟲是否遵守它,我們未核實。我們自己的做法:kagentx 產品庫 1,155 個頁只放行 141 個有完整分析的,其餘是 noindex, follow;gammaslide.com 的 ar / fa / ru 示範回放頁也有意 noindex。

noindex、robots.txt Disallow、canonical 分別管什麼?

三個東西管的是三件事:noindex 管「要不要出現在搜尋結果裡」,robots.txt Disallow 管「爬蟲能不能來取這頁」,canonical 管「幾個相同的網址以哪個為準」。Google 的官方文件(2026-11-10 查看)寫得很清楚;AI 爬蟲那一欄,官方文件寫明的很少,沒寫明的我們如實標「未寫明」。

寫法Google 官方文件怎麼說AI 爬蟲的官方文件怎麼說
noindex(meta robots 或 X-Robots-Tag)意思是「Do not show this page, media, or resource in search results」;頁面必須能被抓到,Google 才看得到這條規則(robots meta 文件,頁面標 2026-03-24 更新)未寫明:OpenAI、Perplexity、Anthropic 的爬蟲文件只講 robots.txt,沒有提 noindex 或 X-Robots-Tag(2026-11-10 逐頁查看)
robots.txt Disallow控制抓取,不是把頁面擋在 Google 之外的機制;被禁抓的頁面如果有別的網站連結,仍可能被收錄;還會讓 Google 讀不到頁裡的 noindex(robots.txt 介紹頁,2025-12-10 更新)這是它們文件裡唯一寫明的控制方式:OpenAI 寫搜尋側改動約 24 小時生效,ChatGPT-User 由使用者觸發、規則「可能不適用」;Perplexity-User 一般不遵守;Anthropic 寫明三個爬蟲都遵守 robots.txt
rel=canonical「A strong signal」,是強訊號不是命令;同站內不建議用 noindex 去選規範頁,也不要用 robots.txt 做規範化(合併重複網址文件,2026-07-10 更新)未寫明:三家文件都沒有提 canonical

讀法:如果你想讓頁面不出現在 Google 結果裡,用 noindex,並且別用 robots.txt 攔這頁。如果你想讓頁面不被 AI 爬蟲使用,官方文件寫明能管的只有 robots.txt;noindex 對它們有沒有用,是未核實。robots.txt 的寫法見 AI 爬蟲的 robots.txt 怎麼寫?,canonical 的用法見 canonical 和重複內容:多語言站怎麼配,才不被當成重複頁?。

哪些頁該 noindex,哪些不該?

下面是我們的判斷方法,不是官方規定。核心問題只有一個:這頁對使用者有用,但對搜尋來說沒有獨特內容嗎?

頁面類型做法為什麼
有用但沒有獨特內容的條目頁(我們的產品庫裡沒有完整分析的產品頁)noindex, follow,不進 sitemap,頁面保留頁面對站內使用者有用,但和別處的內容沒有區別,進搜尋結果只會稀釋整站
內容是另一種語言的頁(gammaslide.com 的 ar / fa / ru 示範回放頁,播放的是別的語言的錄製)noindex,自己的 canonical,不進 sitemap頁面語言和網址語言不一致,用那種語言搜尋的人讀不懂
站內搜尋結果、排序和篩選參數頁robots.txt 禁抓參數,或 noindex數量幾乎無限,且和清單頁內容重複;notion.com 和 framer.com 的 robots.txt 都這麼寫(見下)
同一內容的多個網址(帶斜線和不帶、帶參數和不帶)canonical,不用 noindexGoogle 文件建議用 canonical 選規範頁,不用 noindex
已經刪除的內容回傳 404 或 410內容已經不存在,不是薄內容,不需要 noindex
帳號、結帳、後台要登入,並用 robots.txt 禁抓不是內容頁,爬蟲抓了沒有用

已刪除內容的狀態碼怎麼選,見 HTTP 狀態碼對 AI 爬蟲有什麼影響?404、410、301、429、5xx。

2026-11-10 我們看了兩個大網站的 robots.txt(只是文字,不是爬蟲行為):notion.com 對所有爬蟲禁 /templates/search?query=*;framer.com 對所有爬蟲禁帶 ?sort=、?query=、?tab=、?language= 等參數的網址。都是「搜尋和篩選結果不讓爬」,清單頁和詳情頁本身不攔。

我們自己哪些頁是 noindex?

兩處,都是 2026-11-10 用 curl 直接取的回應,原樣如下:

$ curl -s https://kagentx.com/p/research-stammer | grep -i '<meta name="robots"'
<meta name="robots" content="noindex, follow" />

$ curl -s https://kagentx.com/p/lindy | grep -i '<meta name="robots"'
(no output: no robots meta, indexable by default)

$ curl -s https://gammaslide.com/ar/demo/launch-plan | grep -i '<meta name="robots"'
<meta name="robots" content="noindex" />
網址結果(2026-11-10)為什麼
kagentx.com/p/research-stammerHTTP 200,<meta name="robots" content="noindex, follow" />,canonical 指向自己沒有完整分析的產品頁
kagentx.com/p/lindyHTTP 200,沒有 robots meta,也沒有 X-Robots-Tag 回應標頭有完整分析的產品頁,可收錄
gammaslide.com/ar/、/fa/、/ru/ 的 demo/launch-planHTTP 200,<meta name="robots" content="noindex" />,自己的 canonical;這三種語言的 /demo/ 網址一個都不在 sitemap.xml 裡播放的是別的語言的錄製,有意不收錄
gammaslide.com 的 /ja/、/zh-hans/ demo/launch-planHTTP 200,沒有 robots meta內容語言和網址一致,可收錄

kagentx 產品庫一共 1,155 個產品,其中 141 個有完整分析(判斷、價值鏈、競爭、風險四節),這 141 個頁允許收錄,也是 kagentx.com/agents/ 清單和 sitemap.xml 裡出現的數量(2026-11-10 數過,各 141);其餘 1,014 個頁能開啟,但標 noindex、不進 sitemap。這個設計在 2026-10-21 和 10-28 定下來,規則寫在建置腳本的開頭註解裡。

這些 noindex 頁有沒有被 ChatGPT、Perplexity、Claude 讀到或引用,我們沒有證據,也沒有做實驗。我們確定的只有頁面本身回傳了什麼。

Search Console 把這些頁列為「被 noindex 排除」,要處理嗎?

不用處理。你自己標了 noindex 的頁,出現在「未收錄」的清單裡,是預期結果,不是故障。該看的是反方向:

  1. 1. 匯出被 noindex 排除的網址清單

    在 Search Console 的頁面索引報告裡按這個原因篩選。報告裡具體的文字以你帳號裡顯示的為準,我們沒有逐項核對。

  2. 2. 和你「有意 noindex」的清單對一遍

    清單裡每個網址都應該在你的清單裡。多出來的,說明有頁面被誤標了。

  3. 3. 再看該收錄的頁

    重要頁面不應出現在這個原因裡。出現了,先檢查是不是模板裡把 noindex 帶到了所有頁。

怎麼給一批薄內容頁加 noindex?

  1. 1. 先分類

    按上面的表,把頁面分成:補成有內容、noindex、canonical 合併、刪除。不要整站一刀切。

  2. 2. 在伺服器端 HTML 裡寫 noindex

    寫在 的 meta robots 裡,或者用 X-Robots-Tag 回應標頭。不要靠前端腳本加:多數 AI 爬蟲不執行 JavaScript,見 AI 爬蟲會執行 JavaScript 嗎?。

  3. 3. 不要同時用 robots.txt 攔這些頁

    攔了,Google 就讀不到 noindex。讓爬蟲能抓到頁面,再靠 noindex 擋收錄。

  4. 4. 從 sitemap 裡拿掉這些頁

    sitemap 只放希望被收錄的網址。sitemap 日期的寫法見 sitemap 的 lastmod 怎麼寫才可信?。

  5. 5. 用 curl 驗證

    對每一類頁面各取一個網址,確認回應裡有 noindex,並且 robots.txt 沒有攔它:

    # Is the noindex in the HTML the crawler gets (not added by JavaScript)?
    curl -s https://example.com/some-page | grep -io '<meta name="robots"[^>]*>'
    # Or sent as a header?
    curl -sI https://example.com/some-page | grep -i x-robots-tag
    # The same URL must NOT be blocked in robots.txt, or crawlers never see the tag
    curl -s https://example.com/robots.txt | grep -i -B1 -A1 "some-page"
  6. 6. 兩週後回看

    看 Search Console 裡被排除的數量和你的清單是否一致,也可以用 AI 爬蟲檢查 看 robots.txt 有沒有誤攔 AI 爬蟲。薄內容頁太多時對抓取量的影響見 AI 爬蟲會抓太多嗎?Crawl-delay 哪些爬蟲認。

另一類和「哪些頁該被別人讀到」有關的問題,見 GPT Store 和 AI Agent 目錄能帶來 AI 推薦嗎?:目錄頁讀得到不等於被引用。

常見問題

薄內容頁一定要 noindex 嗎?

不一定。先問這頁對使用者有沒有用、能不能補成有獨特內容的頁。補得出來就補;補不出來、但頁面對使用者還有用(比如產品條目、其他語言的播放頁),用 noindex 讓它留在站裡、不進搜尋結果。

noindex 的頁面,AI 爬蟲還會讀嗎?

官方沒有說明。OpenAI、Perplexity、Anthropic 的爬蟲文件只寫了 robots.txt,沒有提 noindex,所以各家是否遵守 meta robots 的 noindex,我們未核實。可以確定的是:對 Google,noindex 是官方文件寫明的「不在搜尋結果中顯示」。

robots.txt Disallow 加 noindex,是不是雙保險?

不是,反而會失效。Google 官方說明,頁面被 robots.txt 禁止抓取時,它看不到頁面裡的 meta robots 和 X-Robots-Tag,noindex 會被忽略;被禁抓的頁面如果有別的網站連結,仍可能被收錄。要擋收錄,只用 noindex,並讓爬蟲能抓到這頁。

Search Console 裡一堆頁面顯示被 noindex 排除,是故障嗎?

如果這些頁是你有意標成 noindex 的,就是預期結果,不是故障。要看的是反過來的情況:該收錄的頁面出現在這個原因裡,說明 noindex 誤加到了不該加的頁面上。

noindex 頁面要不要從 sitemap 裡去掉?

要。sitemap 是告訴爬蟲「這些頁希望被收錄」,放進 noindex 頁會發出互相矛盾的訊號。kagentx 的做法是 noindex 頁不進 sitemap。

出處

kagentx

AI 的回答裡
有沒有你?

評測檢查爬蟲能不能進、正文是否直出,再把買家的問題拿去問 ChatGPT、Perplexity、Claude(開連網搜尋),看有沒有提到你。基礎版 $1,一般 2–3 分鐘出結果。