指南 · 電子報

怎麼讓我的電子報被 AI 引用?Substack、beehiiv、Ghost 比較

更新於 2026-11-07 · kagentx

簡答

Substack、beehiiv、Ghost 的公開文章,按我們 2026-11-07 讀到的 robots.txt,都沒有單獨禁掉主流 AI 爬蟲,差別在誰能改 robots.txt 和有沒有網路層的攔截開關:Ghost 可以用主題裡的 robots.txt 覆蓋,beehiiv 的預設檔案可自訂,Substack 的說明頁讀不到所以未核實。要被引用,先讀自己刊物的 robots.txt,再確認存檔頁的 HTML 裡直接有文章連結。

Substack、beehiiv、Ghost 上的文章,AI 爬蟲抓得到嗎?

三個平台的公開文章,按我們 2026-11-07 讀到的 robots.txt,都沒有把主流 AI 爬蟲(GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot)單獨禁掉。真正的差別在「誰能改 robots.txt」和「有沒有網路層的攔截開關」。下面每個儲存格都來自我們當天 curl 或官方頁面。

平台2026-11-07 讀到的 robots.txt你能改 robots.txt 嗎?
Substack(platformer.substack.com 等)只禁 BLEXBot;通用組禁 /action/、/publish、/sign-in、/subscribe、/p/*/comment/*、/embed 等;沒有單列 AI 爬蟲;Sitemap 指向 sitemap.xml 和 news_sitemap.xml未核實:說明頁讀不到(403);我們讀到的幾個刊物 robots.txt 完全一樣,沒有看到可自訂的跡象
beehiiv(aiweekly.beehiiv.com 的預設檔案)Amazonbot 整站 Disallow;Googlebot 單列一組;通用組禁 /polls/*/results、/unsubscribe/、/login 等;AhrefsBot 等 SEO 工具有 Crawl-delay: 10;沒有單列 GPTBot、ClaudeBot 等檔案開頭寫明留空時用預設,可以自訂或上傳自己的 robots.txt
Ghost(demo.ghost.io,官方展示站)通用組禁 /ghost/、/email/、/members/api/comments/counts/、/r/、/webmentions/receive/、/.ghost/analytics/api/;有 Sitemap;沒有單列 AI 爬蟲可以:文件寫主題裡放 robots.txt 會覆蓋預設

這是三個具體網站的當天快照,不代表每個刊物。平台隨時可能改預設值,也可能有你後台裡才看得到的開關,所以最後一步總是讀你自己刊物的 robots.txt。各家 AI 爬蟲分別管什麼見 AI 爬蟲 User-Agent 對照表,通用寫法見 AI 爬蟲的 robots.txt 怎麼寫。

# 1) Read the platform's robots.txt
curl -s https://YOURNAME.substack.com/robots.txt | head -40
# 2) Does the archive list posts in the raw HTML (not only after JavaScript)?
curl -s https://YOURNAME.substack.com/archive | grep -o 'href="[^"]*/p/[^"]*"' | sort -u | wc -l
# 3) Is a post readable with an AI crawler's User-Agent string? (local simulation, not the real crawler)
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; GPTBot)" https://YOURNAME.substack.com/archive

平台自帶的「攔 AI」開關會影響被引用嗎?

會,要先知道你開了什麼。Substack 有一個「Block AI training」開關,我們沒能讀到 Substack 說明頁的原文(403),只在第三方文章裡見過它的說法,所以它具體改了什麼、會不會影響搜尋類爬蟲,未核實。

beehiiv 的 AI Crawl Control 我們讀到了官方說明:寫明可用於 Pro 和 Enterprise 方案,需要 Website Builder 和自訂網域,yourpublication.beehiiv.com 這類預設子網域不在範圍內;追蹤 22 個爬蟲,分訓練、AI 搜尋、AI 助理、搜尋引擎四類;預設全部可存取,開關打開才是攔截;它透過 Cloudflare 在網路層攔,不靠爬蟲自願遵守 robots.txt。同一份說明還寫,「Discoverable on the web」開關會改 robots.txt。搜尋結果摘要裡方案寫成了 Max,與讀到的原文不一致,以你後台為準。

所以想被 AI 搜尋引用:別把「AI 搜尋」和「AI 助理」這兩類開成攔截;只想不讓內容用於訓練的,只攔「訓練」類。Cloudflare 一側的類似開關見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行。

用自己的網域,還是用平台子網域?

我們沒有「自有網域更容易被引用」的資料,不下這個結論。能確認的事實有三條:

  1. 1. Substack 的子網域會跳到自訂網域

    2026-11-07 請求 astralcodexten.substack.com,回傳 301 跳到 www.astralcodexten.com;那個網域上的 robots.txt 和平台一樣,Sitemap 也改指自己的網域。所以綁定網域後,被引用的位址應該是自己的網域。

  2. 2. beehiiv 的網路層攔截開關只對自訂網域開放

    這是官方說明的原話範圍。需要精細控制爬蟲,就要自有網域。

  3. 3. 換平台時,自有網域讓文章位址不變

    位址變了,已有的引用和連結就要靠 301 接住,做法見 換網域、改網址,怎麼保住搜尋和 AI 的引用?。

存檔頁、sitemap 和作者頁要怎麼做?

爬蟲是順著連結走的。存檔頁如果在原始 HTML 裡就列出文章連結,爬蟲一個入口就能找全。我們讀了 platformer.substack.com/archive:回傳 200,canonical 指向自己,HTML 裡直接有 24 個 /p/ 文章連結;sitemap.xml 裡也有 /archive、/about 和各篇文章。

項目SubstackGhost
存檔頁在原始 HTML 裡有文章連結有(platformer.substack.com/archive,24 個)未單獨檢查,Ghost 是伺服器端渲染的主題頁
sitemapsitemap.xml 含 /archive、/about、各篇文章;另有 news_sitemap.xml分 pages、posts、authors、tags 四個
作者頁進 sitemap未核實有(sitemap-authors.xml 列出 /author/john/ 等)

作者頁對 AI 的作用見 作者頁和 E-E-A-T;社群平台上的貼文被引用的情況見 社群貼文怎麼出現在 AI 回答裡。文章本身怎麼寫才容易被引用,見 怎麼寫出 AI 願意引用的內容。

# Ghost theme: add robots.txt at the theme root to override Ghost's default
User-agent: *
Allow: /
Disallow: /ghost/
Disallow: /email/
Sitemap: https://your-domain.com/sitemap.xml

如果你同時做 Podcast,show notes 和逐字稿頁怎麼寫見 Podcast 節目怎麼被 AI 回答引用?。

常見問題

Substack 上的文章能被 ChatGPT、Claude、Perplexity 的爬蟲抓到嗎?

按 2026-11-07 讀到的 robots.txt,Substack 沒有為這些 AI 爬蟲單列規則,它們落在通用組裡,文章頁沒被禁。我們用這些爬蟲名的 User-Agent 請求存檔頁都回傳 200,但那是本機模擬,不是真爬蟲。至於 Substack 的「Block AI training」開關對 robots.txt 的影響,說明頁讀不到,未核實。

用平台子網域和自己的網域,哪個更容易被 AI 引用?

我們沒有這方面的比較資料,不下結論。可以確認的是:Substack 的子網域會 301 到自訂網域,並且 robots.txt 和 sitemap 跟著換;beehiiv 的 AI Crawl Control 只對自訂網域開放。自有網域的好處是將來換平台時位址不變。

beehiiv 的電子報預設攔 AI 爬蟲嗎?

按 aiweekly.beehiiv.com 的預設 robots.txt(2026-11-07 讀),只對 Amazonbot 整站 Disallow;GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBot 沒有單列,落在通用組。官方說明寫 AI Crawl Control 預設讓所有爬蟲存取,要手動開才攔。

Ghost 怎麼改 robots.txt?

Ghost 文件寫主題裡放一個 robots.txt 就會覆蓋 Ghost 預設的那份。Ghost(Pro) 託管的站能否直接改主題,請看你的方案,我們未核實。

存檔頁和作者頁對 AI 引用有用嗎?

沒有官方資料。存檔頁的作用是讓爬蟲從一個入口就能找到所有文章,只要 HTML 裡直接有文章連結。Ghost 的作者頁會進 sitemap;Substack 和 beehiiv 的作者頁是否單獨進 sitemap,我們未核實。

出處

kagentx

你的頁面,爬蟲讀得到嗎?
讓評測告訴你

評測檢查爬蟲能不能進、正文是否直出,再把買家的問題拿去問 ChatGPT、Perplexity、Claude(開連網搜尋),看有沒有提到你。基礎版 $1,一般 2–3 分鐘出結果。