Perplexity 的两个爬虫
Perplexity 每次回答都现场搜索，回答里标出来源。它的文档里写了两个爬虫，作用不一样：
| 爬虫 | 做什么 | 看不看 robots.txt | 用来训练模型吗 |
|---|---|---|---|
| PerplexityBot | 建 Perplexity 的搜索索引，让网站出现在搜索结果里并被链接 | 看 | 不用于训练基础模型 |
| Perplexity-User | 用户提问时，现场打开网页来回答 | 一般不看（因为是用户发起的） | 不用于训练 |
Perplexity 比 ChatGPT 更接近搜索结果：Ahrefs 2025-08 的分析里，Perplexity 引用的网址有 28.6% 排在 Google 前 10，ChatGPT 只有 8%。所以在 Perplexity 上，把页面写好、让它排得上去的老办法更管用。
按这 6 步做
1. 放行 PerplexityBot
用 AI 爬虫检查 输入网址，看 PerplexityBot 是不是「放行」。被拦住就把这段加到 robots.txt 最前面：
User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Perplexity 说改动最多 24 小时生效。用了防火墙或 CDN 的机器人拦截，可以按它公布的 IP 列表（perplexity.ai/perplexitybot.json）放行。
2. 让正文直接写在 HTML 里
Perplexity 引用的是它读到的文字。跑下面这行，把引号里换成页面上的一句正文，输出 0 就要改成服务端渲染或预渲染：
curl -s https://your-site.com/pricing/ | grep -c "a sentence from the page"
3. 一页回答一个具体问题
标题就写买家的问题；第一段直接给答案；后面放步骤、对比表、价格和限制。别人想引用的就是这种一两句能摘出来的回答。
数字写上来源和日期，页面上写更新日期，过时的价格和功能及时改。
4. 在 Perplexity 里问你的买家问题，看来源栏
每个问题问 3 次（每次新开），记下来源栏里的网址：你在不在、对手在不在、来源是哪一类网页。
- 列表文章和评测：给作者写信，说清你和列表里的产品差在哪。
- Reddit 和论坛帖：用自己的账号回答，写明你是作者。
- 你自己的页面在来源里但没被推荐：把那一页的第一段改成直接回答这个问题。
5. 补一份 llms.txt
用 llms.txt 生成器 从首页和 sitemap 写一份草稿，改好放到网站根目录。它成本低，但不是各家 AI 都承诺读取的规则，前四步更重要。
6. 隔几周用同样的问题再测
Perplexity 的回答也每次不同。比的是「几次里出现几次」，不是某一次排第几。
AI 引用的是什么样的网页
2026-10-22 评测 MochiStamp（日本市场）：买家问题问 AI（Claude Sonnet 5.5，开联网搜索）3 次，提到它 0 次。AI 读了 10 个被引用的网页，10 个列出了同类产品，提到它的 0 个；被引用最多的是 noripon.blog、ai-rise.net、note.com 这类教程和博客，不是工具官网。
这一轮问的是 Claude，不是 Perplexity；但道理一样：要被引用，你得出现在 AI 会搜到的那几类网页里，或者自己就写出那样的网页。完整数据见 MochiStamp 案例。
常见问题
Perplexity 会拿我的内容训练模型吗？
Perplexity 的文档写的是：PerplexityBot 用来让网站出现在搜索结果里，不用于收集训练基础模型的内容；Perplexity-User 也不用于训练。
我在 robots.txt 里拦了 Perplexity-User，为什么还有访问？
Perplexity 的文档写明，Perplexity-User 是用户发起的访问，一般不看 robots.txt。要拦得在防火墙按它公布的 IP 列表处理；但拦住后，用户在 Perplexity 里贴你的链接也打不开。
Google 排名好，Perplexity 就会引用我吗？
机会更大，但不一定。Ahrefs 2025-08 的分析里，Perplexity 引用的网址有 28.6% 排在 Google 前 10，比 ChatGPT 的 8% 高得多，但多数引用仍来自前 10 以外。
多久能被引用？
没有固定时间。robots.txt 改动 Perplexity 说最多 24 小时；页面被搜到、被引用要看问题和竞争。两到四周后用同一组问题再测。
出处
- Perplexity · Perplexity Crawlers （查看于 2026-11-03）
- Ahrefs · Only 12% of AI Cited URLs Rank in Google’s Top 10 for the Original Prompt （2025-08-11 发表，1.5 万个提示词）
- llmstxt.org · The /llms.txt file （2024 年提出）
- kagentx 评测：案例页的数据，日期写在每个例子里。