指南 · Cloudflare

Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行

更新於 2026-11-07 · kagentx

簡答

Cloudflare 2025-07-01 的新聞稿說預設攔截 AI 爬蟲,現行文件(2026-11-02 更新)卻寫新網域的 Search、Agents、Training 預設都是放行,兩處我們沒有找到解釋,所以以你自己後台為準:Security > Settings > AI Crawler and Agent access policies。把 Search 設成 Block,搜尋型爬蟲就進不來,robots.txt 寫放行也沒用。想被 AI 推薦,至少讓 Search 和 Agent 保持 Allow。

Cloudflare 到底有沒有預設攔 AI 爬蟲?

兩份 Cloudflare 的官方說法對不上,我們沒有找到解釋,所以並列寫出來。2025-07-01 的新聞稿寫的是:Cloudflare 現在預設攔截 AI 爬蟲,新網域加入時會問站長要不要放行,之後可以隨時改。現行開發者文件(頁面標註 2026-11-02 更新)寫的是:新網域的 Search、Agents、Training 三類預設都是「放行」。無論哪一種,最穩的做法是別猜,去自己站的後台看一眼,下面「怎麼檢查」一節給路徑。

來源日期對新網域預設值的說法
Cloudflare 新聞稿2025-07-01預設攔截 AI 爬蟲;新網域註冊時詢問是否放行,可隨時更改
Cloudflare 開發者文件:AI Crawler and Agent access policies頁面標註 2026-11-02 更新,我們 2026-11-07 查看Search、Agents、Training 三類預設都是 Allow(不攔截),之後可以改

Cloudflare 這幾項功能分別是什麼?

名字多、改過名,先對一遍。下面每一行都來自 Cloudflare 官方頁面,2026-11-07 逐頁打開核對:

名稱是什麼狀態和日期
一鍵攔截 AI 爬蟲2024-09 推出的開關新聞稿寫有超過一百萬客戶開啟(2025-07-01 的說法)
AI Crawl Control(原 AI Audit)看哪些 AI 服務在抓你的站,對單一爬蟲設允許或攔截,追蹤 robots.txt 是否被遵守2025-08-28 部落格宣布 AI Audit 改名並從 beta 轉正式;文件寫所有方案可用
AI Crawler and Agent access policies按行為分三類設定:Search、Agent、Training現行設定名,舊名 Configure AI bot policies;文件 2026-11-02 更新
Pay per crawl給 AI 爬蟲的每次存取定價,不付費回傳 HTTP 402文件寫「closed beta」(2026-07-28 更新),要申請
託管 robots.txtCloudflare 根據你的設定自動在 robots.txt 裡加 AI 爬蟲指令所有方案;文件 2026-11-02 更新

Search、Agent、Training 三類設定,分別攔的是什麼?

現行文件按爬蟲的行為分類,而不是按公司。每類的動作可選:

類別官方定義例子(官方文件裡的類型)
Search蒐集或索引內容,用於以後回答問題的爬蟲搜尋型爬蟲
Agent代表某個人即時行動的自動化工具聊天裡的抓取機器人、瀏覽器代理
Training蒐集內容用來訓練或微調模型的爬蟲,包括同時用於訓練和搜尋的混合用途爬蟲訓練型爬蟲
動作含義
Block在整個網站攔截符合的請求
Block on pages with ads只在 Cloudflare 偵測到廣告的頁面攔截
Allow (do not block)不攔截;想放行就選它
Disallow(僅 Training)透過 robots.txt 告訴爬蟲別抓;這是自願遵守,爬蟲可以無視

對要被 AI 推薦的產品站有一個直接後果:把 Search 設成 Block,OAI-SearchBot、PerplexityBot 這類搜尋爬蟲就進不來,robots.txt 裡寫放行也沒用,因為攔截發生在請求層。Training 裡混合用途的爬蟲也會受 Training 動作影響。各家爬蟲的用途見 AI 爬蟲 User-Agent 對照表。

Pay per crawl 和託管 robots.txt 對獨立開發者有用嗎?

Pay per crawl 目前不用考慮:文件寫它還在 closed beta,要填申請表,作用是對 AI 爬蟲的存取收費;Cloudflare 做收款方。它的運作方式是爬蟲帶付款意向就回傳 200,否則回傳包含價格的 HTTP 402。文件還寫明:如果 WAF 或 Bot Management 的規則攔住了某個爬蟲,這些規則優先於收費,爬蟲進不去。

託管 robots.txt 值得知道。文件寫它只在至少一類被設為 Block 或 Disallow 時才改你的 robots.txt;全部放行時原樣回傳你自己的檔案。啟用時它加的是 Disallow 規則和一段 Content Signals,預設是 search=yes, ai-train=no,範例裡列了 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagent。所以如果你發現自己的 robots.txt 裡多出了沒寫過的 AI 爬蟲段落,來源多半是這裡:

# What a Cloudflare-managed block looks like when Training is set to Disallow (shape only, not the full text)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# plus a Content Signals block, default: search=yes, ai-train=no

怎麼檢查我的站有沒有攔 GPTBot、ClaudeBot、PerplexityBot?

  1. 1. 看 Cloudflare 後台的設定

    進入你的網域,Security > Settings,篩選 Bot traffic,打開 AI Crawler and Agent access policies(文件寫的路徑)。

  2. 2. 看 AI Crawl Control 的爬蟲清單

    在後台進入 AI Crawl Control,打開 Crawlers 分頁,能看到存取你網域的 AI 爬蟲;Action 欄可選 Block。文件寫:這個分頁的 Metrics 在部分方案上只涵蓋最近 24 小時,帶 Bot Management 的企業版用更細的辨識方式,其餘按 User-Agent 辨識。

  3. 3. 讀你自己的 robots.txt

    打開 你的網域/robots.txt。如果有你沒寫過的 GPTBot、ClaudeBot 段落,就是託管 robots.txt 加的。也可以用 AI 爬蟲檢查 輸入網址,它會告訴你每個爬蟲在 robots.txt 裡是放行還是攔截。

  4. 4. 用 curl 假裝成爬蟲請求一次

    下面這段會用四個爬蟲名字請求你的首頁。回傳 403 或挑戰頁,說明有按 User-Agent 的攔截;200 說明這一類規則沒攔。注意:它只測按 User-Agent 的規則,測不出按來源 IP 驗證的規則,因為你的 IP 不是爬蟲的 IP。

    # Does a rule that matches on the User-Agent string block this bot? (this does NOT test IP-based rules)
    for ua in "GPTBot" "ClaudeBot" "PerplexityBot" "OAI-SearchBot"; do
      printf "%s " "$ua"
      curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; $ua)" https://your-site.com/
    done
  5. 5. 最後以伺服器日誌為準

    只有在日誌裡看到真實爬蟲的請求和狀態碼,才能確定它們進來了沒有。查 PerplexityBot 的方法見 怎麼讓 Perplexity 推薦我的產品。

kagentx 自己的站是什麼情況?

kagentx.com 就在 Cloudflare 上(回應標頭 server: cloudflare)。2026-11-07 我們讀了它線上的 robots.txt:只有一組通用規則,放行所有爬蟲,只禁了幾個後台頁面和 /api/,沒有 Cloudflare 託管的 AI 爬蟲段落:

User-agent: *
Allow: /

# Admin / local tools — no need to index
Disallow: /admin.html
Disallow: /candidates.html
Disallow: /api/

Sitemap: https://kagentx.com/sitemap.xml

用 GPTBot、ClaudeBot、PerplexityBot 的 User-Agent 字串請求首頁,三個都是 HTTP 200。這是我們在本機用字串模擬的,不是真爬蟲(來源 IP 不同),所以只能說明「按 User-Agent 攔截的規則沒有生效」,不能證明真實爬蟲一定進得來。

確認被攔了,怎麼放行?

  1. 1. 把對應類別改成 Allow

    想出現在 AI 搜尋回答裡,至少讓 Search 和 Agent 是 Allow(do not block)。是否放行 Training 是你自己的決定:它決定內容能否用於訓練,和出現在搜尋回答裡是兩件事。

  2. 2. 檢查 Bot Fight Mode 和自訂規則

    Perplexity 的官方頁寫明:Bot Fight Mode 不能被自訂規則跳過,仍可能挑戰它的爬蟲。它建議建一條自訂規則,比對 User-Agent 加官方 IP 清單,動作選 Skip,並放在所有攔截或挑戰規則之上。

  3. 3. 同步檢查 robots.txt

    關掉攔截後,確認 robots.txt 裡沒有殘留的 Disallow。寫法見 AI 爬蟲的 robots.txt 怎麼寫。

  4. 4. 過一段時間看結果

    在 AI Crawl Control 的爬蟲清單和日誌裡確認請求進來了。想知道 ChatGPT 的推薦怎麼受影響,見 怎麼讓 ChatGPT 推薦我的產品。

不用 Cloudflare、直接看伺服器日誌的指令見 怎麼在伺服器日誌裡查 AI 爬蟲來過沒有。

想用 Cloudflare 限制爬蟲的請求速度,見 AI 爬蟲會抓太多嗎?Crawl-delay 哪些爬蟲認。

常見問題

Cloudflare 會預設攔截我的網站上的 AI 爬蟲嗎?

Cloudflare 2025-07-01 的新聞稿說預設攔截,新網域註冊時會詢問;現行文件(2026-11-02 更新)寫新網域三類預設都是放行。兩處說法不一致,請直接看你自己後台的 AI Crawler and Agent access policies。

AI Crawl Control 和 AI Audit 是同一個東西嗎?

是。Cloudflare 2025-08-28 的部落格寫明 AI Audit 改名為 AI Crawl Control,並從 beta 轉為正式。

Pay per crawl 現在能用嗎?

文件(2026-07-28 更新)寫它還在 closed beta,需要申請。它讓站長給 AI 爬蟲的存取定價,不付費會回傳 HTTP 402。

為什麼我的 robots.txt 裡多了 GPTBot 的規則?

可能是 Cloudflare 的託管 robots.txt。文件寫它在至少一類被設為 Block 或 Disallow 時,會把 AI 爬蟲的 Disallow 規則和 Content Signals 加到你的 robots.txt 前面。

怎麼放行 GPTBot、ClaudeBot、PerplexityBot?

在 Security > Settings 的 AI Crawler and Agent access policies 裡把對應類別改成 Allow,再檢查 Bot Fight Mode 和自訂規則,並確認 robots.txt 裡沒有殘留的 Disallow。

出處

kagentx

你的頁面,爬蟲讀得到嗎?
讓評測告訴你

評測檢查爬蟲能不能進、正文是否直出,再把買家的問題拿去問 ChatGPT、Perplexity、Claude(開連網搜尋),看有沒有提到你。基礎版 $1,一般 2–3 分鐘出結果。