指南 · 电子报

怎么让我的电子报被 AI 引用?Substack、beehiiv、Ghost 对比

更新于 2026-11-07 · kagentx

短答案

Substack、beehiiv、Ghost 的公开文章,按我们 2026-11-07 读到的 robots.txt,都没有单独禁掉主流 AI 爬虫,差别在谁能改 robots.txt 和有没有网络层的拦截开关:Ghost 可以用主题里的 robots.txt 覆盖,beehiiv 的默认文件可定制,Substack 的帮助页读不到所以未核实。要被引用,先读自己刊物的 robots.txt,再确认存档页的 HTML 里直接有文章链接。

Substack、beehiiv、Ghost 上的文章,AI 爬虫抓得到吗?

三个平台的公开文章,按我们 2026-11-07 读到的 robots.txt,都没有把主流 AI 爬虫(GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot)单独禁掉。真正的差别在“谁能改 robots.txt”和“有没有网络层的拦截开关”。下面每个单元格都来自我们当天 curl 或官方页面。

平台2026-11-07 读到的 robots.txt你能改 robots.txt 吗
Substack(platformer.substack.com 等)只禁 BLEXBot;通用组禁 /action/、/publish、/sign-in、/subscribe、/p/*/comment/*、/embed 等;没有单列 AI 爬虫;Sitemap 指向 sitemap.xml 和 news_sitemap.xml未核实:帮助页读不到(403);我们读到的几个刊物 robots.txt 完全一样,没有看到可定制的迹象
beehiiv(aiweekly.beehiiv.com 的默认文件)Amazonbot 整站 Disallow;Googlebot 单列一组;通用组禁 /polls/*/results、/unsubscribe/、/login 等;AhrefsBot 等 SEO 工具有 Crawl-delay: 10;没有单列 GPTBot、ClaudeBot 等文件开头写明留空时用默认,可以自定义或上传自己的 robots.txt
Ghost(demo.ghost.io,官方演示站)通用组禁 /ghost/、/email/、/members/api/comments/counts/、/r/、/webmentions/receive/、/.ghost/analytics/api/;有 Sitemap;没有单列 AI 爬虫可以:文档写主题里放 robots.txt 会覆盖默认

这是三个具体站点的当天快照,不代表每个刊物。平台随时可能改默认值,也可能有你后台里才看得到的开关,所以最后一步总是读你自己刊物的 robots.txt。各家 AI 爬虫分别管什么见 AI 爬虫 User-Agent 对照表,通用写法见 AI 爬虫的 robots.txt 怎么写。

# 1) Read the platform's robots.txt
curl -s https://YOURNAME.substack.com/robots.txt | head -40
# 2) Does the archive list posts in the raw HTML (not only after JavaScript)?
curl -s https://YOURNAME.substack.com/archive | grep -o 'href="[^"]*/p/[^"]*"' | sort -u | wc -l
# 3) Is a post readable with an AI crawler's User-Agent string? (local simulation, not the real crawler)
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; GPTBot)" https://YOURNAME.substack.com/archive

平台自带的“拦 AI”开关会影响被引用吗?

会,要先知道你开了什么。Substack 有一个“Block AI training”开关,我们没能读到 Substack 帮助页的原文(403),只在第三方文章里见过它的说法,所以它具体改了什么、会不会影响搜索类爬虫,未核实。

beehiiv 的 AI Crawl Control 我们读到了官方说明:写明可用于 Pro 和 Enterprise 套餐,需要 Website Builder 和自定义域名,yourpublication.beehiiv.com 这类默认子域名不在范围内;跟踪 22 个爬虫,分训练、AI 搜索、AI 助手、搜索引擎四类;默认全部可访问,开关打开才是拦截;它通过 Cloudflare 在网络层拦,不靠爬虫自愿遵守 robots.txt。同一份说明还写,“Discoverable on the web”开关会改 robots.txt。搜索结果摘要里套餐写成了 Max,与读到的原文不一致,以你后台为准。

所以想被 AI 搜索引用:别把“AI 搜索”和“AI 助手”这两类开成拦截;只想不让内容用于训练的,只拦“训练”类。Cloudflare 一侧的类似开关见 Cloudflare 默认拦 AI 爬虫吗?怎么检查和放行。

用自己的域名,还是用平台子域名?

我们没有“自有域名更容易被引用”的数据,不下这个结论。能确认的事实有三条:

  1. 1. Substack 的子域名会跳到自定义域名

    2026-11-07 请求 astralcodexten.substack.com,返回 301 跳到 www.astralcodexten.com;那个域名上的 robots.txt 和平台一样,Sitemap 也改指自己的域名。所以绑定域名后,引用的地址应该是自己的域名。

  2. 2. beehiiv 的网络层拦截开关只对自定义域名开放

    这是官方说明的原话范围。需要精细控制爬虫,就要自有域名。

  3. 3. 换平台时,自有域名让文章地址不变

    地址变了,已有的引用和链接就要靠 301 接住,做法见 换域名、改网址,怎么保住搜索和 AI 的引用?。

存档页、sitemap 和作者页要怎么做?

爬虫是顺着链接走的。存档页如果在原始 HTML 里就列出文章链接,爬虫一个入口就能找全。我们读了 platformer.substack.com/archive:返回 200,canonical 指向自己,HTML 里直接有 24 个 /p/ 文章链接;sitemap.xml 里也有 /archive、/about 和各篇文章。

项目SubstackGhost
存档页在原始 HTML 里有文章链接有(platformer.substack.com/archive,24 个)未单独检查,Ghost 是服务端渲染的主题页
sitemapsitemap.xml 含 /archive、/about、各篇文章;另有 news_sitemap.xml分 pages、posts、authors、tags 四个
作者页进 sitemap未核实有(sitemap-authors.xml 列出 /author/john/ 等)

作者页对 AI 的作用见 作者页和 E-E-A-T;社交平台上的帖子被引用的情况见 社交帖子怎么出现在 AI 回答里。文章本身怎么写才容易被引用,见 怎么写出 AI 愿意引用的内容。

# Ghost theme: add robots.txt at the theme root to override Ghost's default
User-agent: *
Allow: /
Disallow: /ghost/
Disallow: /email/
Sitemap: https://your-domain.com/sitemap.xml

如果你同时做播客,show notes 和文字稿页怎么写见 播客怎么被 AI 回答引用?。

常见问题

Substack 上的文章能被 ChatGPT、Claude、Perplexity 的爬虫抓到吗?

按 2026-11-07 读到的 robots.txt,Substack 没有为这些 AI 爬虫单列规则,它们落在通用组里,文章页没被禁。我们用这些爬虫名的 User-Agent 请求存档页都返回 200,但那是本机模拟,不是真爬虫。至于 Substack 的“Block AI training”开关对 robots.txt 的影响,帮助页读不到,未核实。

用平台子域名和自己的域名,哪个更容易被 AI 引用?

我们没有这方面的对比数据,不下结论。可以确认的是:Substack 的子域名会 301 到自定义域名,并且 robots.txt 和 sitemap 跟着换;beehiiv 的 AI Crawl Control 只对自定义域名开放。自有域名的好处是将来换平台时地址不变。

beehiiv 的电子报默认拦 AI 爬虫吗?

按 aiweekly.beehiiv.com 的默认 robots.txt(2026-11-07 读),只对 Amazonbot 整站 Disallow;GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBot 没有单列,落在通用组。官方说明写 AI Crawl Control 默认让所有爬虫访问,要手动开才拦。

Ghost 怎么改 robots.txt?

Ghost 文档写主题里放一个 robots.txt 就会覆盖 Ghost 默认的那份。Ghost(Pro) 托管的站能否直接改主题,请看你的套餐,我们未核实。

存档页和作者页对 AI 引用有用吗?

没有官方数据。存档页的作用是让爬虫从一个入口就能找到所有文章,只要 HTML 里直接有文章链接。Ghost 的作者页会进 sitemap;Substack 和 beehiiv 的作者页是否单独进 sitemap,我们未核实。

出处

kagentx

你的页面,爬虫读得到吗?
让评测告诉你

评测检查爬虫能不能进、正文是否直出,再把买家的问题拿去问 ChatGPT、Perplexity、Claude(开联网搜索),看有没有提到你。基础版 $1,一般 2–3 分钟出结果。