Quora 的 robots.txt 對 AI 爬蟲怎麼寫?
我們在 2026-11-07 用 curl 讀了 quora.com/robots.txt(HTTP 200)。檔案開頭先有一段聲明:所有爬蟲和機器人,不論下面有沒有點名,都不得把 Quora 平台內容用於訓練 AI 模型或類似的機器學習系統,除非 Quora 透過合約明確授權。下面是各爬蟲的具體規則:
| 爬蟲 | 規則(2026-11-07 讀取) |
|---|---|
| GPTBot(OpenAI 訓練) | Disallow: /,整站不讓抓 |
| OAI-SearchBot(ChatGPT 搜尋) | Disallow: /,只放行路徑裡含 drinking-water 的頁面 |
| ChatGPT-User(使用者在對話裡讓它開啟網頁) | Disallow: / |
| ClaudeBot、Claude-User、Claude-SearchBot(Anthropic) | 各一條 Disallow: / |
| PerplexityBot | Disallow: / |
| Perplexity-User | 沒有單獨點名,落在 User-agent: * 組:只放行少數頁面,其餘 Disallow: / |
| Googlebot | 一組路徑層級的規則(禁止一批後台和動作類路徑),沒有整站 Disallow |
| Google-Extended | 同樣是一組路徑層級的規則,沒有整站 Disallow |
| Bingbot、CCBot | 沒有單獨點名,落在 User-agent: * 組:只放行少數頁面,其餘 Disallow: / |
這是 robots.txt 寫的規則,不是 AI 實際行為的紀錄。爬蟲是否遵守,我們沒有測過。
這意味著 ChatGPT 能引用 Quora 嗎?
從這份 robots.txt 看,OpenAI 的搜尋爬蟲 OAI-SearchBot 被擋在 Quora 之外(只有含 drinking-water 的路徑除外),所以 ChatGPT 搜尋不太可能直接抓取 Quora 的問答頁來引用。但 OpenAI 是否透過別的途徑(授權、第三方搜尋結果)拿到 Quora 內容,我們沒有找到公開說明,未核實。
和 Reddit 不同:Google 與 OpenAI 公開宣布過和 Reddit 的資料合作,見 為什麼 AI 回答愛引用 Reddit?產品方能做什麼、不該做什麼。Quora 這邊,我們沒有找到對應的公開合作公告。
Quora 和 Poe 是什麼關係?
Poe 是一個可以和多個 AI 模型聊天的應用程式。它的服務條款(poe.com/tos,更新於 2026-03-19,2026-11-07 讀取)寫明,協議雙方是你和 Quora, Inc. 及其關聯企業。也就是說,營運 Poe 的主體是 Quora, Inc.。
這只說明營運主體。Poe 的聊天內容是否進入 Quora 的問答頁、兩者的資料如何共用,我們沒有讀到官方說明,未核實。poe.com/about 和 quora.com/about 我們打不開(回傳 403),所以沒有引用它們。
獨立開發者在 Quora 回答問題,怎麼做、界線在哪?
Quora 自己的社群規則(自我推廣、揭露身分)我們沒能讀到:help.quora.com 回傳 403,未核實。下面是我們自己的做法,不是 Quora 條文的轉述。先去讀它的規則再動手。
1. 先判斷值不值得
robots.txt 顯示主流 AI 搜尋爬蟲進不去 Quora,所以不要以為答案會被 ChatGPT 或 Perplexity 抓走。它的價值主要是真實的人搜尋時看到你的答案。
2. 只回答你真正懂的問題
選和你產品解決的問題相關、你有第一手經驗的問題,把方法寫完整。
3. 說明你是誰
提到自己的產品時,直接寫「我是這個產品的開發者」。
4. 產品只在確實相關時提一次
說清它適合什麼、不適合什麼,不要每個答案都帶連結。
5. 把可引用的資料放在自己的網站
Quora 的頁面你控制不了,官網上的價格、功能、適用對象說明才是穩定來源。寫法見 怎麼寫出 AI 願意引用的內容?改寫前後對照。
| 不要做 | 原因 |
|---|---|
| 用多個帳號給自己的答案按讚或留言 | 操縱投票,是刷;帳號可能被處理 |
| 假裝成一般使用者推薦自己的產品 | 隱瞞身分,被識破後信譽比沒發更差 |
| 在每個答案裡貼同一個連結 | 會被當成廣告 |
| 買帳號、買讚 | 編造的互動,是虛假訊號 |
更多平台上的做法:AI 回答會引用 X 和 LinkedIn 上的貼文嗎?。整套檢查見 AI 能見度稽核清單。
常見問題
ChatGPT 會用 Quora 的內容回答嗎?
從 Quora 的 robots.txt(2026-11-07 讀取)看,OAI-SearchBot 和 ChatGPT-User 都被禁止抓取,只有含 drinking-water 的路徑例外。OpenAI 是否透過其他途徑取得 Quora 內容,未核實。
Quora 擋了哪些 AI 爬蟲?
GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot、PerplexityBot、Bytespider、Diffbot、Applebot-Extended 等都有 Disallow: /。Googlebot 和 Google-Extended 沒有整站禁止。
Quora 和 Poe 是同一家公司嗎?
Poe 的服務條款寫明協議方是你和 Quora, Inc. 及其關聯企業(更新於 2026-03-19,2026-11-07 讀取)。
產品方可以在 Quora 回答裡放自己產品的連結嗎?
Quora 的規則我們沒能讀到,未核實。我們的做法是說明身分、只在相關時提一次,不批量貼連結,也不用多個帳號。
robots.txt 寫了不讓抓,就一定抓不到嗎?
robots.txt 是請求而不是技術上的封鎖。爬蟲是否遵守,我們沒有測過。
出處
- Quora · robots.txt (2026-11-07 讀取)
- Poe · Terms of service (updated 2026-03-19) (2026-11-07 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。