Claude 怎麼決定推薦誰？
Anthropic 說明中心（2026-11-04 查看）寫的是：Claude 在連網搜尋有幫助的時候會去搜尋，使用者也可以直接要它搜；每則用了搜尋的回答都附引用，方便核對來源。所以和 ChatGPT、Perplexity 一樣，Claude 推薦的產品，基本來自它這次搜到並讀過的網頁。
官方文件沒有寫 Claude 的網頁搜尋用的是哪一家搜尋引擎，所以這裡不猜。能做的是兩件：讓 Claude 的爬蟲讀得到你，再讓你出現在它會引用的那類網頁裡。
Anthropic 的三個爬蟲各做什麼？
| 爬蟲 | 做什麼（Anthropic 的說法） | 封鎖它會怎樣 |
|---|---|---|
| Claude-SearchBot | 為搜尋結果建索引，讓搜尋回答更相關、更準確 | 文件寫的是可能降低你的網站在使用者搜尋結果裡的可見度和準確度 |
| Claude-User | 使用者在 Claude 裡提問、需要時，去取對應的網頁 | 文件寫的是可能降低你的網站在使用者發起的網頁搜尋裡的可見度 |
| ClaudeBot | 蒐集網頁內容，可能用於模型訓練 | 表示你網站以後的內容不要進訓練資料；文件沒有說它影響回答裡的引用 |
三個爬蟲都遵守 robots.txt 裡的 do-not-crawl 指令，也支援非標準的 Crawl-delay。Anthropic 公布了爬蟲的 IP 範圍（claude.com/crawling/bots.json），但提醒按 IP 封鎖不一定可靠，退出檢索要靠 robots.txt。
怎麼按步驟做？
1. 放行 Claude-SearchBot 和 Claude-User
用 AI 爬蟲檢查 輸入網址，看這兩個是不是「放行」。被擋住就把這段加到 robots.txt 最前面：
User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: /
要不要放行 ClaudeBot 是另一個決定：它和訓練有關。你想退出訓練，就單獨封鎖它，同時保留上面兩個，這是 Anthropic 文件裡把三個爬蟲分開的用意。
2. 再看防火牆和 CDN
robots.txt 放行了，CDN 的「封鎖 AI 爬蟲」開關或機器人驗證仍可能把請求擋掉，這類規則不看 robots.txt。按 Anthropic 公布的 IP 範圍放行，或是換成爬蟲的 User-Agent 請求首頁，看回傳 200 還是 403：
curl -s -o /dev/null -w "%{http_code}" -A "Claude-SearchBot" https://your-site.com/3. 讓正文直接寫在 HTML 裡
爬蟲讀到的是原始 HTML。執行下面這行，把引號裡換成首頁上的一句正文，輸出 0 就表示正文要等腳本才會出現：
curl -s https://your-site.com/ | grep -c "a sentence from your homepage"
4. 用買家的說法，每個問題問 Claude 3 次
寫 5–10 個不帶品牌名的買家問題，每個在 Claude 裡開啟連網搜尋問 3 次（每次開新對話），記下：有沒有提到你、推薦了誰、引用了哪些網址。同一個問題每次的回答都不同，看的是三次裡出現幾次。
5. 去補 Claude 引用的那些網頁
把引用的網址分類：列表文章、教學部落格、比較頁、論壇貼文。列出了同類產品卻沒有你的，寫信給作者，說清你和列表裡的產品差在哪、價格多少；缺的頁面自己寫，標題就是買家的問題，第一段直接給答案。
6. 補一份 llms.txt（優先順序最低）
用 llms.txt 產生器 寫一份草稿。它不是 Anthropic 文件裡承諾會讀取的東西，放在前五步之後。
Claude 引用的是什麼樣的網頁？
2026-10-22 評測 MochiStamp（日本市場）：把買家的問題拿去問 Claude（Claude Sonnet 5.5，開啟連網搜尋）3 次，提到它 0 次。AI 讀了 10 個被引用的網頁，10 個列出了同類產品，提到它的 0 個；被引用最多的是 noripon.blog、ai-rise.net、note.com 這類日文教學和部落格。
2026-10-26 評測 GammaSlide：問 Claude 21 次，提到它 0 次，推薦最多的是 Gamma、Plus AI、Beautiful.ai。AI 讀了 28 個被引用的網頁，19 個列出了同類產品，提到它的 0 個。兩個網站的爬蟲檢查都是通過的，卡住的是被引用的網頁裡沒有它們。完整資料見 MochiStamp 案例 和 GammaSlide 案例。
更完整的自我檢查清單見 AI 能見度稽核清單；ChatGPT 的對應排查見 為什麼 ChatGPT 不推薦我的產品？
常見問題
封鎖 ClaudeBot 會讓 Claude 不推薦我嗎？
Anthropic 文件寫的是：封鎖 ClaudeBot 表示你網站以後的內容不要進訓練資料。文件提醒會影響搜尋可見度的是 Claude-SearchBot 和 Claude-User，所以想退出訓練但保留被引用，封鎖 ClaudeBot、放行另外兩個。
Claude 的網頁搜尋用哪一家搜尋引擎？
Anthropic 的說明文件沒有寫，所以我們不下結論。能確認的是：Claude 在有幫助時搜尋，回答附引用。
robots.txt 改完多久生效？
Anthropic 文件沒有給時間。改完可以用 AI 爬蟲檢查確認規則正確，再用同一組問題隔幾週測一輪。
Claude 每次都會引用網頁嗎？
不會。Claude 在連網搜尋有幫助時才去搜，使用者也可以在提問裡要它搜。沒搜的回答沒有這一輪引用，所以測的時候要確認回答裡附了來源。
有辦法保證 Claude 推薦我嗎？
沒有。回答每次都不同，沒人能保證。能做的是讓 Claude 的爬蟲讀得到你，被引用的網頁裡有你，然後按「幾次裡出現幾次」看變化。
出處
- Anthropic · Does Anthropic crawl data from the web, and how can site owners block the crawler? （文章日期 2026-04-07，2026-11-04 查看）
- Anthropic · Enabling and using web search （查看於 2026-11-04）
- kagentx 評測：案例頁的資料，日期寫在每個例子裡。