Substack、beehiiv、Ghost 上的文章,AI 爬虫抓得到吗?
三个平台的公开文章,按我们 2026-11-07 读到的 robots.txt,都没有把主流 AI 爬虫(GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot)单独禁掉。真正的差别在“谁能改 robots.txt”和“有没有网络层的拦截开关”。下面每个单元格都来自我们当天 curl 或官方页面。
| 平台 | 2026-11-07 读到的 robots.txt | 你能改 robots.txt 吗 |
|---|---|---|
| Substack(platformer.substack.com 等) | 只禁 BLEXBot;通用组禁 /action/、/publish、/sign-in、/subscribe、/p/*/comment/*、/embed 等;没有单列 AI 爬虫;Sitemap 指向 sitemap.xml 和 news_sitemap.xml | 未核实:帮助页读不到(403);我们读到的几个刊物 robots.txt 完全一样,没有看到可定制的迹象 |
| beehiiv(aiweekly.beehiiv.com 的默认文件) | Amazonbot 整站 Disallow;Googlebot 单列一组;通用组禁 /polls/*/results、/unsubscribe/、/login 等;AhrefsBot 等 SEO 工具有 Crawl-delay: 10;没有单列 GPTBot、ClaudeBot 等 | 文件开头写明留空时用默认,可以自定义或上传自己的 robots.txt |
| Ghost(demo.ghost.io,官方演示站) | 通用组禁 /ghost/、/email/、/members/api/comments/counts/、/r/、/webmentions/receive/、/.ghost/analytics/api/;有 Sitemap;没有单列 AI 爬虫 | 可以:文档写主题里放 robots.txt 会覆盖默认 |
这是三个具体站点的当天快照,不代表每个刊物。平台随时可能改默认值,也可能有你后台里才看得到的开关,所以最后一步总是读你自己刊物的 robots.txt。各家 AI 爬虫分别管什么见 AI 爬虫 User-Agent 对照表,通用写法见 AI 爬虫的 robots.txt 怎么写。
# 1) Read the platform's robots.txt
curl -s https://YOURNAME.substack.com/robots.txt | head -40
# 2) Does the archive list posts in the raw HTML (not only after JavaScript)?
curl -s https://YOURNAME.substack.com/archive | grep -o 'href="[^"]*/p/[^"]*"' | sort -u | wc -l
# 3) Is a post readable with an AI crawler's User-Agent string? (local simulation, not the real crawler)
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; GPTBot)" https://YOURNAME.substack.com/archive
平台自带的“拦 AI”开关会影响被引用吗?
会,要先知道你开了什么。Substack 有一个“Block AI training”开关,我们没能读到 Substack 帮助页的原文(403),只在第三方文章里见过它的说法,所以它具体改了什么、会不会影响搜索类爬虫,未核实。
beehiiv 的 AI Crawl Control 我们读到了官方说明:写明可用于 Pro 和 Enterprise 套餐,需要 Website Builder 和自定义域名,yourpublication.beehiiv.com 这类默认子域名不在范围内;跟踪 22 个爬虫,分训练、AI 搜索、AI 助手、搜索引擎四类;默认全部可访问,开关打开才是拦截;它通过 Cloudflare 在网络层拦,不靠爬虫自愿遵守 robots.txt。同一份说明还写,“Discoverable on the web”开关会改 robots.txt。搜索结果摘要里套餐写成了 Max,与读到的原文不一致,以你后台为准。
所以想被 AI 搜索引用:别把“AI 搜索”和“AI 助手”这两类开成拦截;只想不让内容用于训练的,只拦“训练”类。Cloudflare 一侧的类似开关见 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行。
用自己的域名,还是用平台子域名?
我们没有“自有域名更容易被引用”的数据,不下这个结论。能确认的事实有三条:
1. Substack 的子域名会跳到自定义域名
2026-11-07 请求 astralcodexten.substack.com,返回 301 跳到 www.astralcodexten.com;那个域名上的 robots.txt 和平台一样,Sitemap 也改指自己的域名。所以绑定域名后,引用的地址应该是自己的域名。
2. beehiiv 的网络层拦截开关只对自定义域名开放
这是官方说明的原话范围。需要精细控制爬虫,就要自有域名。
3. 换平台时,自有域名让文章地址不变
地址变了,已有的引用和链接就要靠 301 接住,做法见 换域名、改网址,怎么保住搜索和 AI 的引用?。
存档页、sitemap 和作者页要怎么做?
爬虫是顺着链接走的。存档页如果在原始 HTML 里就列出文章链接,爬虫一个入口就能找全。我们读了 platformer.substack.com/archive:返回 200,canonical 指向自己,HTML 里直接有 24 个 /p/ 文章链接;sitemap.xml 里也有 /archive、/about 和各篇文章。
| 项目 | Substack | Ghost |
|---|---|---|
| 存档页在原始 HTML 里有文章链接 | 有(platformer.substack.com/archive,24 个) | 未单独检查,Ghost 是服务端渲染的主题页 |
| sitemap | sitemap.xml 含 /archive、/about、各篇文章;另有 news_sitemap.xml | 分 pages、posts、authors、tags 四个 |
| 作者页进 sitemap | 未核实 | 有(sitemap-authors.xml 列出 /author/john/ 等) |
作者页对 AI 的作用见 作者页和 E-E-A-T;社交平台上的帖子被引用的情况见 社交帖子怎么出现在 AI 回答里。文章本身怎么写才容易被引用,见 怎么写出 AI 愿意引用的内容。
# Ghost theme: add robots.txt at the theme root to override Ghost's default User-agent: * Allow: / Disallow: /ghost/ Disallow: /email/ Sitemap: https://your-domain.com/sitemap.xml
如果你同时做播客,show notes 和文字稿页怎么写见 播客怎么被 AI 回答引用?。
常见问题
Substack 上的文章能被 ChatGPT、Claude、Perplexity 的爬虫抓到吗?
按 2026-11-07 读到的 robots.txt,Substack 没有为这些 AI 爬虫单列规则,它们落在通用组里,文章页没被禁。我们用这些爬虫名的 User-Agent 请求存档页都返回 200,但那是本机模拟,不是真爬虫。至于 Substack 的“Block AI training”开关对 robots.txt 的影响,帮助页读不到,未核实。
用平台子域名和自己的域名,哪个更容易被 AI 引用?
我们没有这方面的对比数据,不下结论。可以确认的是:Substack 的子域名会 301 到自定义域名,并且 robots.txt 和 sitemap 跟着换;beehiiv 的 AI Crawl Control 只对自定义域名开放。自有域名的好处是将来换平台时地址不变。
beehiiv 的电子报默认拦 AI 爬虫吗?
按 aiweekly.beehiiv.com 的默认 robots.txt(2026-11-07 读),只对 Amazonbot 整站 Disallow;GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBot 没有单列,落在通用组。官方说明写 AI Crawl Control 默认让所有爬虫访问,要手动开才拦。
Ghost 怎么改 robots.txt?
Ghost 文档写主题里放一个 robots.txt 就会覆盖 Ghost 默认的那份。Ghost(Pro) 托管的站能否直接改主题,请看你的套餐,我们未核实。
存档页和作者页对 AI 引用有用吗?
没有官方数据。存档页的作用是让爬虫从一个入口就能找到所有文章,只要 HTML 里直接有文章链接。Ghost 的作者页会进 sitemap;Substack 和 beehiiv 的作者页是否单独进 sitemap,我们未核实。
出处
- Substack · robots.txt of a Substack publication (platformer.substack.com) (2026-11-07 读取)
- Substack · Archive page of a Substack publication (HTML read with curl) (2026-11-07 读取)
- beehiiv · robots.txt of a beehiiv publication (default file) (2026-11-07 读取)
- beehiiv · How to control which AI crawlers access your content (2026-11-07 核对,页面未标更新日期)
- Ghost · robots.txt of Ghost demo site (2026-11-07 读取)
- Ghost · Ghost themes: structure (robots.txt) (2026-11-07 核对,页面未标更新日期)
- kagentx 评测:案例页的数据,日期写在每个例子里。