X 和 LinkedIn 的 robots.txt 允許 AI 爬蟲讀貼文嗎?
從 robots.txt 看,大多數不允許。2026-11-07 我們讀了兩個檔案:x.com 沒有點名 GPTBot、ClaudeBot、PerplexityBot,這些爬蟲落到 “User-agent: *” 那一組,整站禁止;linkedin.com 把它們逐一點名並整站禁止。例外是 LinkedIn 對 OAI-SearchBot 和 Claude-SearchBot 沒有整站禁止。robots.txt 只是網站對爬蟲的請求,不能說明 AI 回答裡引用了多少貼文,那一點我們未核實。
| 爬蟲 | x.com | linkedin.com |
|---|---|---|
| GPTBot(OpenAI 訓練用) | 沒有點名,適用 “*”:整站禁止 | Disallow: /,整站禁止 |
| OAI-SearchBot(ChatGPT 搜尋用) | 沒有點名,適用 “*”:整站禁止 | 單獨一組,沒有整站禁止;列了一長串被禁路徑,如 /public-profile/、/people/search/、/search*、/settings/,沒有 /posts、/in/ 的規則 |
| ChatGPT-User(使用者請 ChatGPT 開啟網頁) | 沒有點名,適用 “*”:整站禁止 | Disallow: /,整站禁止 |
| ClaudeBot(Anthropic 訓練用) | 沒有點名,適用 “*”:整站禁止 | Disallow: /,整站禁止 |
| Claude-SearchBot、Claude-User | 沒有點名,適用 “*”:整站禁止 | Claude-SearchBot 的規則和 OAI-SearchBot 逐行相同,沒有整站禁止;Claude-User 是 Disallow: / |
| PerplexityBot、Perplexity-User | 沒有點名,適用 “*”:整站禁止 | 兩個都是 Disallow: /,整站禁止 |
| Google-Extended | Disallow: *,整站禁止 | Disallow: /,整站禁止 |
| Googlebot、Bingbot | Googlebot 和 Bingbot 共用一組,大部分網址可抓,禁 /*/followers、/*/likes、/*/media 等 | Googlebot 有一組很長的禁止路徑,包括 /feed/update/;LinkedInBot 是 Allow: / |
| 其他 | “*” 組:Disallow: /,Crawl-delay: 1;另有 __usage_ai-training 訊號:Disallow: / | “*” 組:Disallow: /;另有 __usage_ai-training 訊號:Disallow: /;開頭聲明未經許可的自動存取被禁止,可申請白名單 |
讀表時注意三點:
- x.com 檔案裡沒有出現 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 這些名稱,我們是依 robots.txt 的讀法推得它們適用 “*” 組,不是檔案裡寫了它們。
- LinkedIn 對 OAI-SearchBot 和 Claude-SearchBot 沒有整站禁止,但我們沒有測試這兩個爬蟲實際能不能取到貼文頁,登入牆等因素未核實。
- robots.txt 是請求,不是技術性封鎖。網站另有合作、授權或介面時,不會寫在這個檔案裡,我們未核實 X 和 LinkedIn 有沒有這類安排。
Threads 和 Bluesky 的 robots.txt,我們這次從本機連不上,沒有讀到,所以不寫它們的規則。
那 AI 回答裡到底引不引用 X 和 LinkedIn 的貼文?
我們沒有找到官方說明,也沒有拿到實際引用的證據,未核實。能確認的只有上面這張表:這兩個平台的 robots.txt 對多數 AI 爬蟲是關著的。網路上有統計各平台被引用占比的文章,我們沒有逐一核對原始資料,所以不轉述任何占比。想知道你的領域裡 AI 引用了誰,最可靠的辦法是自己問、自己看來源,見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。
獨立開發者在社群平台發的內容,怎麼做才可能被引用?
社群貼文是你告訴既有讀者的地方,不是讓 AI 引用的地方。要被引用的那一份內容,放在你自己的網站上:一個有固定網址、伺服器端直接輸出正文、你能控制 robots.txt 的頁面。貼文裡放這個頁面的連結,貼文本身可以寫得短。
| 內容 | 放哪裡 | 為什麼 |
|---|---|---|
| 產品是什麼、給誰用、價格、支援什麼 | 自己網站的首頁、價格頁、關於頁 | 你控制爬蟲規則和正文,寫法見怎麼寫出 AI 願意引用的內容 |
| 這個版本改了什麼、資料、教學 | 自己網站的一頁,網址不變 | 貼文幾天後就沉下去;固定網址的頁面可以一直更新 |
| 和同類產品的差別 | 自己網站的比較頁,每項寫出處和核對日期 | 貼文裡寫「比 X 快」沒有出處,AI 很難引用 |
| 發布公告、小更新、和讀者的互動 | 社群平台 | 這是社群平台擅長的;連結回自己的頁面 |
| 別人對你的評價、討論 | 論壇和問答社群 | 真實參與見 Reddit 那一篇,不要裝路人 |
Reddit 和 YouTube 的情況和 X、LinkedIn 不同,各有一篇單獨講:為什麼 AI 回答愛引用 Reddit?產品方能做什麼、不該做什麼;YouTube 影片會被 AI 回答引用嗎?。
一則發布貼文可以怎麼寫?
下面是範例(名稱和網址是占位)。貼文本身是完整的一兩句話:做了什麼、一個具體數字;最後一行是自己網站上對應頁面的完整網址,那一頁才寫定義、需求和比較。
Just shipped ExampleTool 2.4: incremental builds. A 2,000-note rebuild now takes seconds instead of minutes. What it is, requirements and the comparison table: https://example.com/exampletool/
怎麼一步一步改?
1. 先在自己網站上寫好要被引用的頁面
產品頁、比較頁、教學,每頁一個問題,開頭直接回答。寫法見 怎麼寫出 AI 願意引用的內容?改寫前後對照。
2. 確認自己的網站沒有擋 AI 爬蟲
讀你自己的 robots.txt,規則見 AI 爬蟲的 robots.txt 怎麼寫?,各家爬蟲見 AI 爬蟲 User-Agent 對照表。
3. 貼文寫短,結尾放連結
貼文寫一個具體事實,最後一行放對應頁面的完整網址。不要把唯一的說明只發在貼文裡。
4. 個人簡介裡放官網網址
X 和 LinkedIn 的簡介都有網址欄,填你的官網,不要只填另一個社群帳號。
5. 保存發過的貼文網址
哪天 AI 引用了某則貼文,你才對得上。貼文被刪或帳號改名,連結會失效。
6. 問 AI,看來源裡有沒有社群網域
依 怎麼衡量 AI 可見度?四個指標與一張可照做的表 的方法,每個問題問 3 次,記下來源裡 x.com、linkedin.com 出現幾次、你自己的網站出現幾次。
7. 多到別人寫的頁面裡出現
AI 更常引用的是第三方文章、清單和論壇裡提到你的地方,見 品牌提及比外鏈對 AI 搜尋更重要嗎?兩項研究怎麼說。
Quora 的 robots.txt 對 AI 爬蟲怎麼寫,見 ChatGPT 會用 Quora 的內容嗎?。
電子報平台(Substack、beehiiv、Ghost)上的文章,見 怎麼讓我的電子報被 AI 引用?Substack、beehiiv、Ghost 比較。
常見問題
ChatGPT 會引用我在 X 上發的貼文嗎?
我們沒有找到官方說明,也沒有拿到實際引用的證據,未核實。能確認的是:2026-11-07 讀取的 x.com/robots.txt 沒有點名 GPTBot、OAI-SearchBot、ChatGPT-User,它們適用 “*” 組,整站禁止。
LinkedIn 允許 AI 爬蟲讀貼文嗎?
2026-11-07 的 robots.txt 裡,GPTBot、ClaudeBot、ChatGPT-User、Claude-User、PerplexityBot、Perplexity-User、Google-Extended 都是 Disallow: /;OAI-SearchBot 和 Claude-SearchBot 各有一組路徑禁止規則,沒有整站禁止。檔案開頭還聲明未經許可的自動存取被禁止。
Threads 和 Bluesky 呢?
這次從本機連不上它們的 robots.txt,沒有讀到,不寫規則。
那還要不要在社群平台發內容?
要。社群平台是把內容告訴既有讀者、取得回饋的地方,只是不要把它當成讓 AI 引用的地方。貼文裡放自己網站的連結,要被引用的內容放在自己的網站上。
出處
- X · x.com/robots.txt (2026-11-07 讀取)
- LinkedIn · www.linkedin.com/robots.txt (2026-11-07 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。