主要的 AI 爬蟲，逐個核對的結果
下面每一行都在 2026-11-05 開啟官方頁面核對。沒核對到的行直接寫「未核實」，不拿第三方目錄補。「用途」按官方說法分三類：訓練（蒐集內容訓練模型）、搜尋（替 AI 搜尋建索引）、使用者觸發（使用者提問時即時開啟網頁）。
| 爬蟲 / 標記 | 哪家 | 用途 | 遵守 robots.txt 嗎（官方說法） | 官方寫的 User-Agent | 官方文件 | 核對日期 |
|---|---|---|---|---|---|---|
| GPTBot | OpenAI | 訓練 | 用 robots.txt 控制；擋它表示內容不用於訓練基礎模型 | GPTBot/1.4 | OpenAI | 2026-11-05 |
| OAI-SearchBot | OpenAI | 搜尋 | 用 robots.txt 控制；官方建議放行，擋了不會出現在 ChatGPT 搜尋回答裡 | OAI-SearchBot/1.4 | OpenAI | 2026-11-05 |
| ChatGPT-User | OpenAI | 使用者觸發 | 官方寫明：使用者發起的造訪，robots.txt 規則可能不適用 | ChatGPT-User/1.0 | OpenAI | 2026-11-05 |
| ClaudeBot | Anthropic | 訓練 | 遵守（官方：其爬蟲遵守 robots.txt） | 官方頁未列完整字串 | Anthropic | 2026-11-05 |
| Claude-User | Anthropic | 使用者觸發 | 遵守（同上，官方一併說明） | 官方頁未列完整字串 | Anthropic | 2026-11-05 |
| Claude-SearchBot | Anthropic | 搜尋 | 遵守（同上，官方一併說明） | 官方頁未列完整字串 | Anthropic | 2026-11-05 |
| PerplexityBot | Perplexity | 搜尋 | 可用 robots.txt 管理，官方建議放行；官方說不用於訓練基礎模型 | PerplexityBot/1.0 | Perplexity | 2026-11-05 |
| Perplexity-User | Perplexity | 使用者觸發 | 官方寫明：因為是使用者請求的，一般忽略 robots.txt | Perplexity-User/1.0 | Perplexity | 2026-11-05 |
| Google-Extended | 訓練和 grounding（控制標記） | 只是 robots.txt 裡的標記，沒有單獨的 User-Agent；不影響搜尋收錄，也不是排名訊號 | 無（抓取用 Google 現有爬蟲） | 2026-11-05 | ||
| Googlebot | 傳統搜尋 | 官方：自動抓取一律遵守 robots.txt | 官方頁列了手機和桌機兩種字串 | 2026-11-05 | ||
| Applebot | Apple | 搜尋（資料可能用於訓練） | 遵守；沒有 Applebot 規則時按 Googlebot 規則；iTMS 使用者代理不遵守 | 官方頁未取到完整字串 | Apple | 2026-11-05 |
| Applebot-Extended | Apple | 訓練（控制標記） | 不抓取網頁，只決定 Applebot 抓到的內容能否用於訓練；擋了仍可出現在搜尋裡 | 無（不是爬蟲） | Apple | 2026-11-05 |
| CCBot | Common Crawl | 開放網頁資料集 | 官方給了 robots.txt 的封鎖寫法，但沒有直接寫「遵守」 | CCBot/2.0 | Common Crawl | 2026-11-05 |
| Bingbot | Microsoft | 傳統搜尋 | 未核實 | 未核實 | Microsoft（這次取不到頁面內文） | 未核實 |
| Bytespider | ByteDance | 未核實 | 未核實：沒有找到位元組跳動的官方文件，第三方說法不一致，所以不下結論 | 未核實 | 無 | 未核實 |
哪些是爬蟲，哪些只是 robots.txt 裡的標記？
Google-Extended 和 Applebot-Extended 都不是會來造訪你伺服器的爬蟲。Google 文件寫明 Google-Extended 沒有單獨的 User-Agent；Apple 文件寫明 Applebot-Extended 不抓取網頁。它們只是你在 robots.txt 裡寫的控制標記，所以伺服器日誌裡搜不到這兩個名字，要看日誌得搜 Googlebot 或 Applebot。
怎麼確認一個 User-Agent 是真的？
User-Agent 字串誰都能偽造。Google 文件提醒，真實的常規爬蟲通常來自公布的 IP 範圍，反向 DNS 能對上；OpenAI 和 Perplexity 也各自公布了 IP 清單（OpenAI 每個爬蟲一份 JSON，Perplexity 兩份），Common Crawl 的頁面也提醒有冒用 CCBot 名字的爬蟲。設防火牆規則時，要按 IP 清單核對，不要只信字串。
下一步看什麼？
這張表只回答「它是誰、管什麼」。具體怎麼寫 robots.txt、擋了會怎樣、三份範本，見 AI 爬蟲的 robots.txt 怎麼寫；想看自己的網站現在放行了哪些，用 AI 爬蟲檢查。各家怎麼做見 怎麼讓 ChatGPT 推薦我的產品、怎麼讓 Perplexity 引用你的網站。
常見問題
GPTBot 和 OAI-SearchBot 有什麼區別？
OpenAI 文件寫的是：GPTBot 蒐集可能用於訓練基礎模型的內容；OAI-SearchBot 讓網站出現在 ChatGPT 搜尋裡。擋 GPTBot 不等於退出搜尋。
Google-Extended 的 User-Agent 是什麼？
沒有。Google 文件寫明它沒有單獨的 HTTP User-Agent，抓取用的是 Google 現有的爬蟲，Google-Extended 只是 robots.txt 裡的控制標記。
哪些 AI 爬蟲會無視 robots.txt？
官方明確說的有兩個：Perplexity 說 Perplexity-User 一般忽略 robots.txt，OpenAI 說 ChatGPT-User 的造訪 robots.txt 規則可能不適用。兩者都是使用者觸發的造訪。Bytespider 是否遵守，我們沒有找到官方說法，未核實。
Bingbot 算 AI 爬蟲嗎？
它是 Bing 搜尋的爬蟲。Bing Webmaster Tools 的說明頁這次取不到內文，所以它的具體說法這裡標未核實。
這張表會過期嗎？
會。爬蟲名稱和版本號會變，表裡每行都寫了核對日期，使用前請回官方頁確認。
出處
- OpenAI · Overview of OpenAI Crawlers （2026-11-05 核對）
- Anthropic · Does Anthropic crawl data from the web? （2026-11-05 核對）
- Perplexity · Perplexity Crawlers （2026-11-05 核對，頁面未寫日期）
- Google Search Central · Google’s common crawlers （2026-11-05 核對，頁面未寫日期）
- Apple · About Applebot （2026-11-05 核對）
- Common Crawl · CCBot （2026-11-05 核對）
- kagentx 評測：案例頁的資料，日期寫在每個例子裡。