Cloudflare 到底有沒有預設攔 AI 爬蟲?
兩份 Cloudflare 的官方說法對不上,我們沒有找到解釋,所以並列寫出來。2025-07-01 的新聞稿寫的是:Cloudflare 現在預設攔截 AI 爬蟲,新網域加入時會問站長要不要放行,之後可以隨時改。現行開發者文件(頁面標註 2026-11-02 更新)寫的是:新網域的 Search、Agents、Training 三類預設都是「放行」。無論哪一種,最穩的做法是別猜,去自己站的後台看一眼,下面「怎麼檢查」一節給路徑。
| 來源 | 日期 | 對新網域預設值的說法 |
|---|---|---|
| Cloudflare 新聞稿 | 2025-07-01 | 預設攔截 AI 爬蟲;新網域註冊時詢問是否放行,可隨時更改 |
| Cloudflare 開發者文件:AI Crawler and Agent access policies | 頁面標註 2026-11-02 更新,我們 2026-11-07 查看 | Search、Agents、Training 三類預設都是 Allow(不攔截),之後可以改 |
Cloudflare 這幾項功能分別是什麼?
名字多、改過名,先對一遍。下面每一行都來自 Cloudflare 官方頁面,2026-11-07 逐頁打開核對:
| 名稱 | 是什麼 | 狀態和日期 |
|---|---|---|
| 一鍵攔截 AI 爬蟲 | 2024-09 推出的開關 | 新聞稿寫有超過一百萬客戶開啟(2025-07-01 的說法) |
| AI Crawl Control(原 AI Audit) | 看哪些 AI 服務在抓你的站,對單一爬蟲設允許或攔截,追蹤 robots.txt 是否被遵守 | 2025-08-28 部落格宣布 AI Audit 改名並從 beta 轉正式;文件寫所有方案可用 |
| AI Crawler and Agent access policies | 按行為分三類設定:Search、Agent、Training | 現行設定名,舊名 Configure AI bot policies;文件 2026-11-02 更新 |
| Pay per crawl | 給 AI 爬蟲的每次存取定價,不付費回傳 HTTP 402 | 文件寫「closed beta」(2026-07-28 更新),要申請 |
| 託管 robots.txt | Cloudflare 根據你的設定自動在 robots.txt 裡加 AI 爬蟲指令 | 所有方案;文件 2026-11-02 更新 |
Search、Agent、Training 三類設定,分別攔的是什麼?
現行文件按爬蟲的行為分類,而不是按公司。每類的動作可選:
| 類別 | 官方定義 | 例子(官方文件裡的類型) |
|---|---|---|
| Search | 蒐集或索引內容,用於以後回答問題的爬蟲 | 搜尋型爬蟲 |
| Agent | 代表某個人即時行動的自動化工具 | 聊天裡的抓取機器人、瀏覽器代理 |
| Training | 蒐集內容用來訓練或微調模型的爬蟲,包括同時用於訓練和搜尋的混合用途爬蟲 | 訓練型爬蟲 |
| 動作 | 含義 |
|---|---|
| Block | 在整個網站攔截符合的請求 |
| Block on pages with ads | 只在 Cloudflare 偵測到廣告的頁面攔截 |
| Allow (do not block) | 不攔截;想放行就選它 |
| Disallow(僅 Training) | 透過 robots.txt 告訴爬蟲別抓;這是自願遵守,爬蟲可以無視 |
對要被 AI 推薦的產品站有一個直接後果:把 Search 設成 Block,OAI-SearchBot、PerplexityBot 這類搜尋爬蟲就進不來,robots.txt 裡寫放行也沒用,因為攔截發生在請求層。Training 裡混合用途的爬蟲也會受 Training 動作影響。各家爬蟲的用途見 AI 爬蟲 User-Agent 對照表。
Pay per crawl 和託管 robots.txt 對獨立開發者有用嗎?
Pay per crawl 目前不用考慮:文件寫它還在 closed beta,要填申請表,作用是對 AI 爬蟲的存取收費;Cloudflare 做收款方。它的運作方式是爬蟲帶付款意向就回傳 200,否則回傳包含價格的 HTTP 402。文件還寫明:如果 WAF 或 Bot Management 的規則攔住了某個爬蟲,這些規則優先於收費,爬蟲進不去。
託管 robots.txt 值得知道。文件寫它只在至少一類被設為 Block 或 Disallow 時才改你的 robots.txt;全部放行時原樣回傳你自己的檔案。啟用時它加的是 Disallow 規則和一段 Content Signals,預設是 search=yes, ai-train=no,範例裡列了 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagent。所以如果你發現自己的 robots.txt 裡多出了沒寫過的 AI 爬蟲段落,來源多半是這裡:
# What a Cloudflare-managed block looks like when Training is set to Disallow (shape only, not the full text) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # plus a Content Signals block, default: search=yes, ai-train=no
怎麼檢查我的站有沒有攔 GPTBot、ClaudeBot、PerplexityBot?
1. 看 Cloudflare 後台的設定
進入你的網域,Security > Settings,篩選 Bot traffic,打開 AI Crawler and Agent access policies(文件寫的路徑)。
2. 看 AI Crawl Control 的爬蟲清單
在後台進入 AI Crawl Control,打開 Crawlers 分頁,能看到存取你網域的 AI 爬蟲;Action 欄可選 Block。文件寫:這個分頁的 Metrics 在部分方案上只涵蓋最近 24 小時,帶 Bot Management 的企業版用更細的辨識方式,其餘按 User-Agent 辨識。
3. 讀你自己的 robots.txt
打開 你的網域/robots.txt。如果有你沒寫過的 GPTBot、ClaudeBot 段落,就是託管 robots.txt 加的。也可以用 AI 爬蟲檢查 輸入網址,它會告訴你每個爬蟲在 robots.txt 裡是放行還是攔截。
4. 用 curl 假裝成爬蟲請求一次
下面這段會用四個爬蟲名字請求你的首頁。回傳 403 或挑戰頁,說明有按 User-Agent 的攔截;200 說明這一類規則沒攔。注意:它只測按 User-Agent 的規則,測不出按來源 IP 驗證的規則,因為你的 IP 不是爬蟲的 IP。
# Does a rule that matches on the User-Agent string block this bot? (this does NOT test IP-based rules) for ua in "GPTBot" "ClaudeBot" "PerplexityBot" "OAI-SearchBot"; do printf "%s " "$ua" curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; $ua)" https://your-site.com/ done5. 最後以伺服器日誌為準
只有在日誌裡看到真實爬蟲的請求和狀態碼,才能確定它們進來了沒有。查 PerplexityBot 的方法見 怎麼讓 Perplexity 推薦我的產品。
kagentx 自己的站是什麼情況?
kagentx.com 就在 Cloudflare 上(回應標頭 server: cloudflare)。2026-11-07 我們讀了它線上的 robots.txt:只有一組通用規則,放行所有爬蟲,只禁了幾個後台頁面和 /api/,沒有 Cloudflare 託管的 AI 爬蟲段落:
User-agent: * Allow: / # Admin / local tools — no need to index Disallow: /admin.html Disallow: /candidates.html Disallow: /api/ Sitemap: https://kagentx.com/sitemap.xml
用 GPTBot、ClaudeBot、PerplexityBot 的 User-Agent 字串請求首頁,三個都是 HTTP 200。這是我們在本機用字串模擬的,不是真爬蟲(來源 IP 不同),所以只能說明「按 User-Agent 攔截的規則沒有生效」,不能證明真實爬蟲一定進得來。
確認被攔了,怎麼放行?
1. 把對應類別改成 Allow
想出現在 AI 搜尋回答裡,至少讓 Search 和 Agent 是 Allow(do not block)。是否放行 Training 是你自己的決定:它決定內容能否用於訓練,和出現在搜尋回答裡是兩件事。
2. 檢查 Bot Fight Mode 和自訂規則
Perplexity 的官方頁寫明:Bot Fight Mode 不能被自訂規則跳過,仍可能挑戰它的爬蟲。它建議建一條自訂規則,比對 User-Agent 加官方 IP 清單,動作選 Skip,並放在所有攔截或挑戰規則之上。
3. 同步檢查 robots.txt
關掉攔截後,確認 robots.txt 裡沒有殘留的 Disallow。寫法見 AI 爬蟲的 robots.txt 怎麼寫。
4. 過一段時間看結果
在 AI Crawl Control 的爬蟲清單和日誌裡確認請求進來了。想知道 ChatGPT 的推薦怎麼受影響,見 怎麼讓 ChatGPT 推薦我的產品。
不用 Cloudflare、直接看伺服器日誌的指令見 怎麼在伺服器日誌裡查 AI 爬蟲來過沒有。
想用 Cloudflare 限制爬蟲的請求速度,見 AI 爬蟲會抓太多嗎?Crawl-delay 哪些爬蟲認。
常見問題
Cloudflare 會預設攔截我的網站上的 AI 爬蟲嗎?
Cloudflare 2025-07-01 的新聞稿說預設攔截,新網域註冊時會詢問;現行文件(2026-11-02 更新)寫新網域三類預設都是放行。兩處說法不一致,請直接看你自己後台的 AI Crawler and Agent access policies。
AI Crawl Control 和 AI Audit 是同一個東西嗎?
是。Cloudflare 2025-08-28 的部落格寫明 AI Audit 改名為 AI Crawl Control,並從 beta 轉為正式。
Pay per crawl 現在能用嗎?
文件(2026-07-28 更新)寫它還在 closed beta,需要申請。它讓站長給 AI 爬蟲的存取定價,不付費會回傳 HTTP 402。
為什麼我的 robots.txt 裡多了 GPTBot 的規則?
可能是 Cloudflare 的託管 robots.txt。文件寫它在至少一類被設為 Block 或 Disallow 時,會把 AI 爬蟲的 Disallow 規則和 Content Signals 加到你的 robots.txt 前面。
怎麼放行 GPTBot、ClaudeBot、PerplexityBot?
在 Security > Settings 的 AI Crawler and Agent access policies 裡把對應類別改成 Allow,再檢查 Bot Fight Mode 和自訂規則,並確認 robots.txt 裡沒有殘留的 Disallow。
出處
- Cloudflare · Cloudflare Just Changed How AI Crawlers Scrape the Internet at Large (2025-07-01 發表,2026-11-07 核對)
- Cloudflare · Introducing AI Crawl Control (2025-08-28 發表,2026-11-07 核對)
- Cloudflare · Introducing pay per crawl (2025-07-01 發表,2026-11-07 核對)
- Cloudflare · AI Crawler and Agent access policies (頁面標註 2026-11-02 更新,2026-11-07 核對)
- Cloudflare · Managed robots.txt (頁面標註 2026-11-02 更新,2026-11-07 核對)
- Cloudflare · AI Crawl Control (頁面標註 2026-08-14 更新,2026-11-07 核對)
- Cloudflare · What is pay per crawl? (頁面標註 2026-07-28 更新,2026-11-07 核對)
- Perplexity · Perplexity Crawlers (Cloudflare skip rule) (2026-11-07 核對,頁面未寫日期)
- kagentx · kagentx.com/robots.txt (2026-11-07 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。