Claude 怎么决定推荐谁？
Anthropic 帮助中心（2026-11-04 查看）写的是：Claude 在联网搜索有帮助的时候会去搜索，用户也可以直接让它搜；每条用了搜索的回答都带引用，方便核对来源。所以和 ChatGPT、Perplexity 一样，Claude 推荐的产品，基本来自它这次搜到并读过的网页。
官方文档没有写 Claude 的网页搜索用的是哪家搜索引擎，所以这里不猜。能做的是两件：让 Claude 的爬虫读得到你，再让你出现在它会引用的那类网页里。
Anthropic 的三个爬虫各做什么？
| 爬虫 | 做什么（Anthropic 的说法） | 拦住它会怎样 |
|---|---|---|
| Claude-SearchBot | 为搜索结果建索引，让搜索回答更相关、更准确 | 文档写的是可能降低你的网站在用户搜索结果里的可见度和准确度 |
| Claude-User | 用户在 Claude 里提问、需要时，去取对应的网页 | 文档写的是可能降低你的网站在用户发起的网页搜索里的可见度 |
| ClaudeBot | 收集网页内容，可能用于模型训练 | 表示你网站以后的内容不要进训练数据；文档没有说它影响回答里的引用 |
三个爬虫都遵守 robots.txt 里的 do-not-crawl 指令，也支持非标准的 Crawl-delay。Anthropic 公布了爬虫的 IP 段（claude.com/crawling/bots.json），但提醒按 IP 拦截不一定可靠，退出抓取要靠 robots.txt。
怎么按步骤做？
1. 放行 Claude-SearchBot 和 Claude-User
用 AI 爬虫检查 输入网址，看这两个是不是「放行」。被拦住就把这段加到 robots.txt 最前面：
User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: /
要不要放行 ClaudeBot 是另一个决定：它和训练有关。你想退出训练，就单独拦它，同时保留上面两个，这是 Anthropic 文档里把三个爬虫分开的用意。
2. 再看防火墙和 CDN
robots.txt 放行了，CDN 的「拦截 AI 爬虫」开关或机器人验证仍可能把请求挡掉，这类规则不看 robots.txt。按 Anthropic 公布的 IP 段放行，或者换成爬虫的 User-Agent 请求首页，看返回 200 还是 403：
curl -s -o /dev/null -w "%{http_code}" -A "Claude-SearchBot" https://your-site.com/3. 让正文直接写在 HTML 里
爬虫读到的是原始 HTML。跑下面这行，把引号里换成首页上的一句正文，输出 0 就说明正文要等脚本才出现：
curl -s https://your-site.com/ | grep -c "a sentence from your homepage"
4. 用买家的说法，每个问题问 Claude 3 次
写 5–10 个不带品牌名的买家问题，每个在 Claude 里开联网搜索问 3 次（每次新开对话），记下：有没有提到你、推荐了谁、引用了哪些网址。同一个问题每次的回答都不同，看的是三次里出现几次。
5. 去补 Claude 引用的那些网页
把引用的网址分类：列表文章、教程博客、对比页、论坛帖。列出了同类产品却没有你的，给作者写信，说清你和列表里的产品差在哪、价格多少；缺的页面自己写，标题就是买家的问题，第一段直接给答案。
6. 补一份 llms.txt（优先级最低）
用 llms.txt 生成器 写一份草稿。它不是 Anthropic 文档里承诺会读取的东西，放在前五步之后。
Claude 引用的是什么样的网页？
2026-10-22 评测 MochiStamp（日本市场）：把买家的问题拿去问 Claude（Claude Sonnet 5.5，开联网搜索）3 次，提到它 0 次。AI 读了 10 个被引用的网页，10 个列出了同类产品，提到它的 0 个；被引用最多的是 noripon.blog、ai-rise.net、note.com 这类日文教程和博客。
2026-10-26 评测 GammaSlide：问 Claude 21 次，提到它 0 次，推荐最多的是 Gamma、Plus AI、Beautiful.ai。AI 读了 28 个被引用的网页，19 个列出了同类产品，提到它的 0 个。两个网站的爬虫检查都是通过的，卡住的是被引用的网页里没有它们。完整数据见 MochiStamp 案例 和 GammaSlide 案例。
更完整的自查清单见 AI 可见度审计清单；ChatGPT 的对应排查见 为什么 ChatGPT 不推荐我的产品？
常见问题
拦住 ClaudeBot 会让 Claude 不推荐我吗？
Anthropic 文档写的是：拦 ClaudeBot 表示你网站以后的内容不要进训练数据。文档提醒会影响搜索可见度的是 Claude-SearchBot 和 Claude-User，所以想退出训练但保留被引用，拦 ClaudeBot、放行另外两个。
Claude 的网页搜索用哪家搜索引擎？
Anthropic 的帮助文档没有写，所以我们不下结论。能确认的是：Claude 在有帮助时搜索，回答带引用。
robots.txt 改完多久生效？
Anthropic 文档没有给时间。改完可以用 AI 爬虫检查确认规则正确，再用同一组问题隔几周测一轮。
Claude 每次都会引用网页吗？
不会。Claude 在联网搜索有帮助时才去搜，用户也可以在提问里让它搜。没搜的回答没有这一轮引用，所以测的时候要确认回答里带了来源。
有办法保证 Claude 推荐我吗？
没有。回答每次都不同，没人能保证。能做的是让 Claude 的爬虫读得到你，被引用的网页里有你，然后按「几次里出现几次」看变化。
出处
- Anthropic · Does Anthropic crawl data from the web, and how can site owners block the crawler? （文章日期 2026-04-07，2026-11-04 查看）
- Anthropic · Enabling and using web search （查看于 2026-11-04）
- kagentx 评测：案例页的数据，日期写在每个例子里。