Substack、beehiiv、Ghost 上的文章,AI 爬蟲抓得到嗎?
三個平台的公開文章,按我們 2026-11-07 讀到的 robots.txt,都沒有把主流 AI 爬蟲(GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot)單獨禁掉。真正的差別在「誰能改 robots.txt」和「有沒有網路層的攔截開關」。下面每個儲存格都來自我們當天 curl 或官方頁面。
| 平台 | 2026-11-07 讀到的 robots.txt | 你能改 robots.txt 嗎? |
|---|---|---|
| Substack(platformer.substack.com 等) | 只禁 BLEXBot;通用組禁 /action/、/publish、/sign-in、/subscribe、/p/*/comment/*、/embed 等;沒有單列 AI 爬蟲;Sitemap 指向 sitemap.xml 和 news_sitemap.xml | 未核實:說明頁讀不到(403);我們讀到的幾個刊物 robots.txt 完全一樣,沒有看到可自訂的跡象 |
| beehiiv(aiweekly.beehiiv.com 的預設檔案) | Amazonbot 整站 Disallow;Googlebot 單列一組;通用組禁 /polls/*/results、/unsubscribe/、/login 等;AhrefsBot 等 SEO 工具有 Crawl-delay: 10;沒有單列 GPTBot、ClaudeBot 等 | 檔案開頭寫明留空時用預設,可以自訂或上傳自己的 robots.txt |
| Ghost(demo.ghost.io,官方展示站) | 通用組禁 /ghost/、/email/、/members/api/comments/counts/、/r/、/webmentions/receive/、/.ghost/analytics/api/;有 Sitemap;沒有單列 AI 爬蟲 | 可以:文件寫主題裡放 robots.txt 會覆蓋預設 |
這是三個具體網站的當天快照,不代表每個刊物。平台隨時可能改預設值,也可能有你後台裡才看得到的開關,所以最後一步總是讀你自己刊物的 robots.txt。各家 AI 爬蟲分別管什麼見 AI 爬蟲 User-Agent 對照表,通用寫法見 AI 爬蟲的 robots.txt 怎麼寫。
# 1) Read the platform's robots.txt
curl -s https://YOURNAME.substack.com/robots.txt | head -40
# 2) Does the archive list posts in the raw HTML (not only after JavaScript)?
curl -s https://YOURNAME.substack.com/archive | grep -o 'href="[^"]*/p/[^"]*"' | sort -u | wc -l
# 3) Is a post readable with an AI crawler's User-Agent string? (local simulation, not the real crawler)
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; GPTBot)" https://YOURNAME.substack.com/archive
平台自帶的「攔 AI」開關會影響被引用嗎?
會,要先知道你開了什麼。Substack 有一個「Block AI training」開關,我們沒能讀到 Substack 說明頁的原文(403),只在第三方文章裡見過它的說法,所以它具體改了什麼、會不會影響搜尋類爬蟲,未核實。
beehiiv 的 AI Crawl Control 我們讀到了官方說明:寫明可用於 Pro 和 Enterprise 方案,需要 Website Builder 和自訂網域,yourpublication.beehiiv.com 這類預設子網域不在範圍內;追蹤 22 個爬蟲,分訓練、AI 搜尋、AI 助理、搜尋引擎四類;預設全部可存取,開關打開才是攔截;它透過 Cloudflare 在網路層攔,不靠爬蟲自願遵守 robots.txt。同一份說明還寫,「Discoverable on the web」開關會改 robots.txt。搜尋結果摘要裡方案寫成了 Max,與讀到的原文不一致,以你後台為準。
所以想被 AI 搜尋引用:別把「AI 搜尋」和「AI 助理」這兩類開成攔截;只想不讓內容用於訓練的,只攔「訓練」類。Cloudflare 一側的類似開關見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行。
用自己的網域,還是用平台子網域?
我們沒有「自有網域更容易被引用」的資料,不下這個結論。能確認的事實有三條:
1. Substack 的子網域會跳到自訂網域
2026-11-07 請求 astralcodexten.substack.com,回傳 301 跳到 www.astralcodexten.com;那個網域上的 robots.txt 和平台一樣,Sitemap 也改指自己的網域。所以綁定網域後,被引用的位址應該是自己的網域。
2. beehiiv 的網路層攔截開關只對自訂網域開放
這是官方說明的原話範圍。需要精細控制爬蟲,就要自有網域。
3. 換平台時,自有網域讓文章位址不變
位址變了,已有的引用和連結就要靠 301 接住,做法見 換網域、改網址,怎麼保住搜尋和 AI 的引用?。
存檔頁、sitemap 和作者頁要怎麼做?
爬蟲是順著連結走的。存檔頁如果在原始 HTML 裡就列出文章連結,爬蟲一個入口就能找全。我們讀了 platformer.substack.com/archive:回傳 200,canonical 指向自己,HTML 裡直接有 24 個 /p/ 文章連結;sitemap.xml 裡也有 /archive、/about 和各篇文章。
| 項目 | Substack | Ghost |
|---|---|---|
| 存檔頁在原始 HTML 裡有文章連結 | 有(platformer.substack.com/archive,24 個) | 未單獨檢查,Ghost 是伺服器端渲染的主題頁 |
| sitemap | sitemap.xml 含 /archive、/about、各篇文章;另有 news_sitemap.xml | 分 pages、posts、authors、tags 四個 |
| 作者頁進 sitemap | 未核實 | 有(sitemap-authors.xml 列出 /author/john/ 等) |
作者頁對 AI 的作用見 作者頁和 E-E-A-T;社群平台上的貼文被引用的情況見 社群貼文怎麼出現在 AI 回答裡。文章本身怎麼寫才容易被引用,見 怎麼寫出 AI 願意引用的內容。
# Ghost theme: add robots.txt at the theme root to override Ghost's default User-agent: * Allow: / Disallow: /ghost/ Disallow: /email/ Sitemap: https://your-domain.com/sitemap.xml
如果你同時做 Podcast,show notes 和逐字稿頁怎麼寫見 Podcast 節目怎麼被 AI 回答引用?。
常見問題
Substack 上的文章能被 ChatGPT、Claude、Perplexity 的爬蟲抓到嗎?
按 2026-11-07 讀到的 robots.txt,Substack 沒有為這些 AI 爬蟲單列規則,它們落在通用組裡,文章頁沒被禁。我們用這些爬蟲名的 User-Agent 請求存檔頁都回傳 200,但那是本機模擬,不是真爬蟲。至於 Substack 的「Block AI training」開關對 robots.txt 的影響,說明頁讀不到,未核實。
用平台子網域和自己的網域,哪個更容易被 AI 引用?
我們沒有這方面的比較資料,不下結論。可以確認的是:Substack 的子網域會 301 到自訂網域,並且 robots.txt 和 sitemap 跟著換;beehiiv 的 AI Crawl Control 只對自訂網域開放。自有網域的好處是將來換平台時位址不變。
beehiiv 的電子報預設攔 AI 爬蟲嗎?
按 aiweekly.beehiiv.com 的預設 robots.txt(2026-11-07 讀),只對 Amazonbot 整站 Disallow;GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBot 沒有單列,落在通用組。官方說明寫 AI Crawl Control 預設讓所有爬蟲存取,要手動開才攔。
Ghost 怎麼改 robots.txt?
Ghost 文件寫主題裡放一個 robots.txt 就會覆蓋 Ghost 預設的那份。Ghost(Pro) 託管的站能否直接改主題,請看你的方案,我們未核實。
存檔頁和作者頁對 AI 引用有用嗎?
沒有官方資料。存檔頁的作用是讓爬蟲從一個入口就能找到所有文章,只要 HTML 裡直接有文章連結。Ghost 的作者頁會進 sitemap;Substack 和 beehiiv 的作者頁是否單獨進 sitemap,我們未核實。
出處
- Substack · robots.txt of a Substack publication (platformer.substack.com) (2026-11-07 讀取)
- Substack · Archive page of a Substack publication (HTML read with curl) (2026-11-07 讀取)
- beehiiv · robots.txt of a beehiiv publication (default file) (2026-11-07 讀取)
- beehiiv · How to control which AI crawlers access your content (2026-11-07 核對,頁面未標更新日期)
- Ghost · robots.txt of Ghost demo site (2026-11-07 讀取)
- Ghost · Ghost themes: structure (robots.txt) (2026-11-07 核對,頁面未標更新日期)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。