指南 · 爬蟲日誌

怎麼查 GPTBot 等 AI 爬蟲有沒有來過我的網站?

更新於 2026-11-07 · kagentx

簡答

在存取日誌裡搜爬蟲名稱,再用官方 IP 清單核對來源。nginx 和 Apache 的 combined 日誌裡,用 awk 取出 User-Agent 再 grep GPTBot、ClaudeBot、PerplexityBot 就能數出請求次數;User-Agent 可以偽造,所以把 IP 和 OpenAI、Anthropic、Perplexity 官方公布的 JSON 網段比對。用 Cloudflare 的話,在 AI Crawl Control 的 Crawlers 分頁直接看。

怎麼在日誌裡看 GPTBot 來過沒有?

搜 User-Agent。nginx 和 Apache 預設的 combined 日誌格式裡,User-Agent 是被引號包起來的最後一段,用 awk 依引號切開取第 6 段,再統計裡面出現了哪些爬蟲名稱。下面的指令我們在本機用一份假日誌實測過:

# Which AI bots hit the site, and how often (nginx or Apache "combined" log format)
awk -F'"' '{print $6}' /var/log/nginx/access.log \
  | grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User' \
  | sort | uniq -c | sort -rn

輸出是每個爬蟲的請求次數,一行一個。Apache 只是日誌路徑不同:

# Apache: same command, different path (Debian/Ubuntu: /var/log/apache2/access.log, RHEL: /var/log/httpd/access_log)
awk -F'"' '{print $6}' /var/log/apache2/access.log \
  | grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User' \
  | sort | uniq -c | sort -rn

看到爬蟲之後,通常接著問三件事:它拿到了什麼狀態碼,它要了哪些頁面,來源 IP 是不是真的。

# What did GPTBot get back? (status code in column 9)
grep GPTBot /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c
# Which pages did GPTBot request?
grep GPTBot /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

狀態碼 200 是讀到了;403 多半是被防火牆或伺服器規則擋了;404 是它要的位址不存在。日誌被輪替壓縮成 .gz 時,用 zgrep 一起查:

# Rotated logs (.gz) as well
zgrep -h GPTBot /var/log/nginx/access.log*.gz | awk '{print $1}' | sort | uniq -c | sort -rn | head

怎麼確認請求真的是官方爬蟲?

用來源 IP 核對官方清單。User-Agent 是請求自己填的,誰都可以寫成 GPTBot;官方爬蟲則從公布的 IP 網段發出。三家都公布了 JSON 清單,下表是 2026-11-07 開啟讀取的結果:

爬蟲官方 IP 清單我們讀到時的 creationTime
GPTBothttps://openai.com/gptbot.json2026-09-22
OAI-SearchBothttps://openai.com/searchbot.json2026-01-02
ChatGPT-Userhttps://openai.com/chatgpt-user.json2026-11-06
ClaudeBot、Claude-SearchBot、Claude-Userhttps://claude.com/crawling/bots.json2026-10-20
PerplexityBothttps://www.perplexity.ai/perplexitybot.json2026-10-28
Perplexity-Userhttps://www.perplexity.ai/perplexity-user.json2026-10-28

官方頁裡的 User-Agent 範例(2026-11-07 查證):

爬蟲官方頁給的 User-Agent出處
GPTBotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotdevelopers.openai.com/api/docs/bots
OAI-SearchBotMozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotdevelopers.openai.com/api/docs/bots
ChatGPT-UserMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botdevelopers.openai.com/api/docs/bots
PerplexityBotMozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)docs.perplexity.ai/guides/bots
Perplexity-UserMozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)docs.perplexity.ai/guides/bots

OpenAI 和 Perplexity 的頁面都寫明版本號會變,所以搜日誌時搜名稱(GPTBot),不要搜整串。Anthropic 的說明頁我們只查證到三個名稱的用途和 IP 清單位址,沒有查證到完整的 User-Agent 字串,所以不在這裡列。它還提醒依 IP 封鎖不一定可靠,建議用 robots.txt 管理。各家爬蟲並排對照見 AI 爬蟲 User-Agent 對照表。

核對步驟:先把某個爬蟲的來源 IP 去重存到檔案,再用一小段 Python 比對官方網段。

grep GPTBot /var/log/nginx/access.log | awk '{print $1}' | sort -u > ips.txt
# check_ip.py: is each IP on the bot's official list?  usage: python3 check_ip.py <list url> < ips.txt
import ipaddress, json, sys, urllib.request
req = urllib.request.Request(sys.argv[1], headers={"User-Agent": "ip-check"})
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
        for p in json.load(urllib.request.urlopen(req))["prefixes"]]
for line in sys.stdin:
    ip = line.strip()
    if ip:
        print(ip, "on list" if any(ipaddress.ip_address(ip) in n for n in nets) else "NOT on list")
python3 check_ip.py https://openai.com/gptbot.json < ips.txt

輸出裡 “on list” 的是官方網段內的位址,“NOT on list” 的就不是官方爬蟲,可以依你的需要在防火牆裡處理。清單會更新,所以每次都重新下載,別把舊網段存下來長期使用。

用 Cloudflare 的話,在哪裡看?

進 AI Crawl Control。Cloudflare 的文件(2026-11-07 查證)寫的入口是:登入控制台,選帳號和網域,開啟 AI Crawl Control。Crawlers 分頁列出每個 AI 爬蟲的營運方、請求數、資料量和目前動作;Metrics 分頁有請求隨時間變化、狀態碼分布(2xx、3xx、4xx、5xx)、最常被存取的路徑,可以依爬蟲、營運方、主機名稱、路徑篩選,也能匯出 CSV。文件寫這個功能所有方案都可用,來源(referral)分析僅限付費方案。

這裡和伺服器日誌看到的數字不一定相同:Cloudflare 看的是經過它的請求,源站日誌看的是到達源站的請求,被快取擋住的不會進源站日誌。預設會不會擋、怎麼放行見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行。網站放在 CDN 後面時,源站日誌裡的來源 IP 可能是 CDN 的位址,要用 CDN 傳來的真實用戶端 IP 欄位,才能做上面的 IP 核對。

沒找到紀錄,是為什麼?

  1. 1. 先確認日誌範圍

    日誌只保留最近幾天時,查不到不等於沒來過。輪替後的 .gz 檔要用 zgrep 查。

  2. 2. 確認 robots.txt 沒有擋住

    用 AI 爬蟲檢查 看每個爬蟲是不是「放行」,寫法見 AI 爬蟲的 robots.txt 怎麼寫。

  3. 3. 確認防火牆沒有擋住

    日誌裡的 403 說明它到了但被擋。Cloudflare 的設定見 Cloudflare 預設會攔 AI 爬蟲嗎?怎麼檢查和放行。

  4. 4. 確認正文是直出的

    讀到頁面但正文是空的,同樣不會被引用,見 AI 爬蟲會執行 JavaScript 嗎?。

  5. 5. 爬蟲來了,不等於被推薦

    爬蟲來過只是讀到了頁面。會不會出現在回答裡,要自己去問、看來源,見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。從 AI 帶來的訪問怎麼看見 怎麼在 GA4 裡看 ChatGPT 帶來的造訪。

各家助理的具體做法

確認爬蟲來過之後,各家助理還有各自的做法:怎麼讓 ChatGPT 推薦我的產品、怎麼讓 Perplexity 推薦我的產品、怎麼讓 Meta AI 推薦我的產品。

常見問題

怎麼知道 GPTBot 有沒有爬過我的網站?

在伺服器存取日誌裡搜 GPTBot。nginx 和 Apache 的預設日誌格式裡,User-Agent 在引號分隔的第 6 段,grep GPTBot 就能看到請求。再把來源 IP 和 OpenAI 官方的 gptbot.json 比對,確認是真的。

日誌裡完全沒有 GPTBot 是什麼意思?

只能說明你查的這段日誌裡沒有。可能是爬蟲還沒來,也可能是日誌被輪替壓縮了(用 zgrep 查 .gz 檔),或者網站放在 CDN 後面、源站日誌裡看到的是 CDN 的位址。robots.txt 裡被禁止也會讓它不來。

User-Agent 能偽造嗎?

能。任何人都可以把自己的請求寫成 GPTBot。所以用官方公布的 IP 清單核對來源位址,不在清單裡的就不是官方爬蟲。

GPTBot、OAI-SearchBot、ChatGPT-User 的日誌有什麼區別?

OpenAI 官方頁把它們分成三個:GPTBot 對應訓練,OAI-SearchBot 對應 ChatGPT 的搜尋,ChatGPT-User 是使用者要 ChatGPT 開啟網頁時來。各有自己的 IP 清單。

用 Cloudflare 的話在哪裡看?

官方文件寫:登入 Cloudflare 控制台,選帳號和網域,進 AI Crawl Control,在 Crawlers 分頁裡能看到每個 AI 爬蟲的請求數和資料量,在 Metrics 分頁裡能看狀態碼分布和最常被存取的路徑。文件寫這個功能所有方案都可用,來源分析僅限付費方案。

出處

kagentx

爬蟲進得來嗎?
讓評測替你查

評測檢查爬蟲能不能進、正文是否直出,再把買家的問題拿去問 ChatGPT、Perplexity、Claude(開連網搜尋),看有沒有提到你。基礎版 $1,一般 2–3 分鐘出結果。