X 和 LinkedIn 的 robots.txt 允许 AI 爬虫读帖子吗?
从 robots.txt 看,大多数不允许。2026-11-07 我们读了两个文件:x.com 没有点名 GPTBot、ClaudeBot、PerplexityBot,这些爬虫落到 “User-agent: *” 那一组,整站禁止;linkedin.com 把它们逐个点名并整站禁止。例外是 LinkedIn 对 OAI-SearchBot 和 Claude-SearchBot 没有整站禁止。robots.txt 只是网站对爬虫的请求,不能说明 AI 回答里引用了多少帖子,那一点我们未核实。
| 爬虫 | x.com | linkedin.com |
|---|---|---|
| GPTBot(OpenAI 训练用) | 没有点名,适用 “*”:整站禁止 | Disallow: /,整站禁止 |
| OAI-SearchBot(ChatGPT 搜索用) | 没有点名,适用 “*”:整站禁止 | 单独一组,没有整站禁止;列了一长串被禁路径,如 /public-profile/、/people/search/、/search*、/settings/,没有 /posts、/in/ 的规则 |
| ChatGPT-User(用户让 ChatGPT 打开网页) | 没有点名,适用 “*”:整站禁止 | Disallow: /,整站禁止 |
| ClaudeBot(Anthropic 训练用) | 没有点名,适用 “*”:整站禁止 | Disallow: /,整站禁止 |
| Claude-SearchBot、Claude-User | 没有点名,适用 “*”:整站禁止 | Claude-SearchBot 的规则和 OAI-SearchBot 逐行相同,没有整站禁止;Claude-User 是 Disallow: / |
| PerplexityBot、Perplexity-User | 没有点名,适用 “*”:整站禁止 | 两个都是 Disallow: /,整站禁止 |
| Google-Extended | Disallow: *,整站禁止 | Disallow: /,整站禁止 |
| Googlebot、Bingbot | Googlebot 和 Bingbot 共用一组,大部分网址可抓,禁 /*/followers、/*/likes、/*/media 等 | Googlebot 一组很长的禁止路径,包括 /feed/update/;LinkedInBot 是 Allow: / |
| 其他 | “*” 组:Disallow: /,Crawl-delay: 1;另有 __usage_ai-training 信号:Disallow: / | “*” 组:Disallow: /;另有 __usage_ai-training 信号:Disallow: /;开头声明未经许可自动访问被禁,可申请白名单 |
读表时注意三点:
- x.com 文件里没有出现 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 这些名字,我们是按 robots.txt 的读法推出它们适用 “*” 组,不是文件里写了它们。
- LinkedIn 对 OAI-SearchBot 和 Claude-SearchBot 没有整站禁止,但我们没有测试这两个爬虫实际能不能取到帖子页,登录墙等因素未核实。
- robots.txt 是请求,不是技术拦截。网站另有合作、授权或接口时,不会写在这个文件里,我们未核实 X 和 LinkedIn 有没有这类安排。
Threads 和 Bluesky 的 robots.txt,我们这次从本机连不上,没有读到,所以不写它们的规则。
那 AI 回答里到底引不引用 X 和 LinkedIn 的帖子?
我们没有找到官方说明,也没有拿到实际引用的证据,未核实。能确认的只有上面这张表:这两个平台的 robots.txt 对多数 AI 爬虫是关着的。网上有统计各平台被引用份额的文章,我们没有逐个核对原始数据,所以不转述任何份额。想知道你的领域里 AI 引用了谁,最可靠的办法是自己问、自己看来源,见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
独立开发者在社交平台发的内容,怎么做才可能被引用?
社交帖是你告诉已有读者的地方,不是让 AI 引用的地方。要被引用的那一份内容,放在你自己的网站上:一个有固定网址、服务端直出正文、你能控制 robots.txt 的页面。社交帖里放这个页面的链接,帖子本身可以写得短。
| 内容 | 放哪里 | 为什么 |
|---|---|---|
| 产品是什么、给谁用、价格、支持什么 | 自己网站的首页、价格页、关于页 | 你控制爬虫规则和正文,写法见怎么写出 AI 愿意引用的内容 |
| 这个版本改了什么、数据、教程 | 自己网站的一页,网址不变 | 帖子几天后就沉下去;固定网址的页面可以一直更新 |
| 和同类产品的区别 | 自己网站的对比页,每项写出处和核对日期 | 帖子里写“比 X 快”没有出处,AI 很难引用 |
| 发布公告、小更新、和读者的互动 | 社交平台 | 这是社交平台擅长的;链接回自己的页面 |
| 别人对你的评价、讨论 | 论坛和问答社区 | 真实参与见 Reddit 那一篇,不要装路人 |
Reddit 和 YouTube 的情况和 X、LinkedIn 不同,各有一篇单独讲:为什么 AI 回答爱引用 Reddit?产品方能做什么、不该做什么;YouTube 视频会被 AI 回答引用吗?。
一条发布帖可以怎么写?
下面是示例(名字和网址是占位)。帖子本身是完整的一两句话:做了什么、一个具体数字;最后一行是自己网站上对应页面的完整网址,那一页才写定义、要求和对比。
Just shipped ExampleTool 2.4: incremental builds. A 2,000-note rebuild now takes seconds instead of minutes. What it is, requirements and the comparison table: https://example.com/exampletool/
怎么一步一步改?
1. 先在自己网站上写好要被引用的页面
产品页、对比页、教程,每页一个问题,开头直接回答。写法见 怎么写出 AI 愿意引用的内容?改写前后对照。
2. 确认自己的网站没有拦 AI 爬虫
读你自己的 robots.txt,规则见 AI 爬虫的 robots.txt 怎么写?,各家爬虫见 AI 爬虫 User-Agent 对照表。
3. 社交帖写短,结尾放链接
帖子写一个具体事实,最后一行放对应页面的完整网址。不要把唯一的说明只发在帖子里。
4. 个人简介里放官网网址
X 和 LinkedIn 的简介都有网址栏,填你的官网,不要只填另一个社交账号。
5. 保存发过的帖子网址
哪天 AI 引用了某条帖子,你才对得上。帖子被删或账号改名,链接会失效。
6. 问 AI,看来源里有没有社交域名
按 怎么衡量 AI 可见度?四个指标和一张可照做的表 的方法,每个问题问 3 次,记下来源里 x.com、linkedin.com 出现几次、你自己的网站出现几次。
7. 多去别人写的页面里出现
AI 更常引用的是第三方文章、列表和论坛里提到你的地方,见 品牌提及比外链对 AI 搜索更重要吗?两项研究怎么说。
Quora 的 robots.txt 对 AI 爬虫怎么写,见 ChatGPT 会用 Quora 的内容吗?。
电子报平台(Substack、beehiiv、Ghost)上的文章,见 怎么让我的电子报被 AI 引用?Substack、beehiiv、Ghost 对比。
常见问题
ChatGPT 会引用我在 X 上发的帖子吗?
我们没有找到官方说明,也没有拿到实际引用的证据,未核实。能确认的是:2026-11-07 读取的 x.com/robots.txt 没有点名 GPTBot、OAI-SearchBot、ChatGPT-User,它们适用 “*” 组,整站禁止。
LinkedIn 允许 AI 爬虫读帖子吗?
2026-11-07 的 robots.txt 里,GPTBot、ClaudeBot、ChatGPT-User、Claude-User、PerplexityBot、Perplexity-User、Google-Extended 都是 Disallow: /;OAI-SearchBot 和 Claude-SearchBot 各有一组路径禁止规则,没有整站禁止。文件开头还声明未经许可的自动访问被禁止。
Threads 和 Bluesky 呢?
这次从本机连不上它们的 robots.txt,没有读到,不写规则。
那还要不要在社交平台发内容?
要。社交平台是把内容告诉已有读者、获得反馈的地方,只是不要把它当成让 AI 引用的地方。帖子里放自己网站的链接,被引用的内容放在自己的网站上。
出处
- X · x.com/robots.txt (2026-11-07 读取)
- LinkedIn · www.linkedin.com/robots.txt (2026-11-07 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。