Quora 的 robots.txt 对 AI 爬虫怎么写?
我们在 2026-11-07 用 curl 读了 quora.com/robots.txt(HTTP 200)。文件开头先有一段声明:所有爬虫和机器人,不论下面有没有点名,都不得把 Quora 平台内容用于训练 AI 模型或类似的机器学习系统,除非 Quora 通过合同明确授权。下面是各爬虫的具体规则:
| 爬虫 | 规则(2026-11-07 读取) |
|---|---|
| GPTBot(OpenAI 训练) | Disallow: /,整站不让抓 |
| OAI-SearchBot(ChatGPT 搜索) | Disallow: /,只放行路径里含 drinking-water 的页面 |
| ChatGPT-User(用户在对话里让它打开网页) | Disallow: / |
| ClaudeBot、Claude-User、Claude-SearchBot(Anthropic) | 各一条 Disallow: / |
| PerplexityBot | Disallow: / |
| Perplexity-User | 没有单独点名,落在 User-agent: * 组:只放行少数页面,其余 Disallow: / |
| Googlebot | 一组路径级规则(禁止一批后台和动作类路径),没有整站 Disallow |
| Google-Extended | 同样是一组路径级规则,没有整站 Disallow |
| Bingbot、CCBot | 没有单独点名,落在 User-agent: * 组:只放行少数页面,其余 Disallow: / |
这是 robots.txt 写的规则,不是 AI 实际行为的记录。爬虫是否遵守,我们没有测过。
这意味着 ChatGPT 能引用 Quora 吗?
从这份 robots.txt 看,OpenAI 的搜索爬虫 OAI-SearchBot 被拦在 Quora 之外(只有含 drinking-water 的路径除外),所以 ChatGPT 搜索不太可能直接抓取 Quora 的问答页来引用。但 OpenAI 是否通过别的途径(授权、第三方搜索结果)拿到 Quora 内容,我们没有找到公开说明,未核实。
和 Reddit 不同:Google 与 OpenAI 公开宣布过和 Reddit 的数据合作,见 为什么 AI 回答爱引用 Reddit?产品方能做什么、不该做什么。Quora 这边,我们没有找到对应的公开合作公告。
Quora 和 Poe 是什么关系?
Poe 是一个可以和多个 AI 模型聊天的应用。它的服务条款(poe.com/tos,更新于 2026-03-19,2026-11-07 读取)写明,协议双方是你和 Quora, Inc. 及其关联方。也就是说,运营 Poe 的主体是 Quora, Inc.。
这只说明运营主体。Poe 的聊天内容是否进入 Quora 的问答页、两者的数据如何共用,我们没有读到官方说明,未核实。poe.com/about 和 quora.com/about 我们打不开(返回 403),所以没有引用它们。
独立开发者在 Quora 回答问题,怎么做、边界在哪?
Quora 自己的社区规则(自我推广、披露身份)我们没能读到:help.quora.com 返回 403,未核实。下面是我们自己的做法,不是 Quora 条文的转述。先去读它的规则再动手。
1. 先判断值不值得
robots.txt 显示主流 AI 搜索爬虫进不去 Quora,所以不要以为答案会被 ChatGPT 或 Perplexity 抓走。它的价值主要是真实的人搜索时看到你的答案。
2. 只回答你真正懂的问题
选和你产品解决的问题相关、你有第一手经验的问题,把方法写完整。
3. 说明你是谁
提到自己的产品时,直接写“我是这个产品的开发者”。
4. 产品只在确实相关时提一次
说清它适合什么、不适合什么,不要每个答案都带链接。
5. 把可引用的资料放在自己的网站
Quora 的页面你控制不了,官网上的价格、功能、适用对象说明才是稳定来源。写法见 怎么写出 AI 愿意引用的内容?改写前后对照。
| 不要做 | 原因 |
|---|---|
| 用多个账号给自己的答案点赞或评论 | 操纵投票,是刷;账号可能被处理 |
| 装成普通用户推荐自己的产品 | 隐瞒身份,被识破后信誉比没发更差 |
| 在每个答案里贴同一个链接 | 会被当成广告 |
| 买账号、买点赞 | 编造的互动,是虚假信号 |
更多平台上的做法:AI 回答会引用 X 和 LinkedIn 上的帖子吗?。整套检查见 AI 可见度审计清单。
常见问题
ChatGPT 会用 Quora 的内容回答吗?
从 Quora 的 robots.txt(2026-11-07 读取)看,OAI-SearchBot 和 ChatGPT-User 都被禁止抓取,只有含 drinking-water 的路径例外。OpenAI 是否通过其他途径获得 Quora 内容,未核实。
Quora 屏蔽了哪些 AI 爬虫?
GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot、PerplexityBot、Bytespider、Diffbot、Applebot-Extended 等都有 Disallow: /。Googlebot 和 Google-Extended 没有整站禁止。
Quora 和 Poe 是同一家公司吗?
Poe 的服务条款写明协议方是你和 Quora, Inc. 及其关联方(更新于 2026-03-19,2026-11-07 读取)。
产品方可以在 Quora 回答里放自己产品的链接吗?
Quora 的规则我们没能读到,未核实。我们的做法是说明身份、只在相关时提一次,不批量贴链接,也不用多个账号。
robots.txt 写了不让抓,就一定抓不到吗?
robots.txt 是请求而不是技术拦截。爬虫是否遵守,我们没有测过。
出处
- Quora · robots.txt (2026-11-07 读取)
- Poe · Terms of service (updated 2026-03-19) (2026-11-07 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。