免費工具robots.txt 和
robots.txt 和
AI 爬蟲檢查
輸入網址，看 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等 16 個 AI 和搜尋爬蟲能不能讀你的頁面：每個爬蟲的結論、robots.txt 裡決定它的那一行，以及怎麼改。
免費，不用登入。只讀取這個網站公開的檔案，不保存你輸入的網址。
檢查哪些爬蟲，擋住會怎樣
依用途分四類。AI 搜尋和替使用者開啟連結的爬蟲決定你會不會出現在 AI 回答裡；訓練爬蟲只影響模型訓練。
| 爬蟲 | 用途 | 擋住會怎樣 | 來源 |
|---|---|---|---|
| OAI-SearchBot OpenAI · ChatGPT search | AI 搜尋 | 建立 AI 搜尋的索引。擋住它，這個 AI 的回答裡基本不會引用你。 | 官方說明 |
| ChatGPT-User OpenAI · ChatGPT | 替使用者開啟連結 | 有人在 AI 裡貼你的連結、或 AI 回答時當場開啟頁面。擋住它，AI 打不開你的頁面。 | 官方說明 |
| GPTBot OpenAI · OpenAI models | 模型訓練 | 蒐集網頁訓練模型。擋住它不影響出現在 AI 回答裡，可以自己決定。 | 官方說明 |
| Claude-SearchBot Anthropic · Claude search | AI 搜尋 | 建立 AI 搜尋的索引。擋住它，這個 AI 的回答裡基本不會引用你。 | 官方說明 |
| Claude-User Anthropic · Claude | 替使用者開啟連結 | 有人在 AI 裡貼你的連結、或 AI 回答時當場開啟頁面。擋住它，AI 打不開你的頁面。 | 官方說明 |
| ClaudeBot Anthropic · Claude models | 模型訓練 | 蒐集網頁訓練模型。擋住它不影響出現在 AI 回答裡，可以自己決定。 | 官方說明 |
| PerplexityBot Perplexity · Perplexity search | AI 搜尋 | 建立 AI 搜尋的索引。擋住它，這個 AI 的回答裡基本不會引用你。 | 官方說明 |
| Perplexity-User Perplexity · Perplexity | 替使用者開啟連結 | 有人在 AI 裡貼你的連結、或 AI 回答時當場開啟頁面。擋住它，AI 打不開你的頁面。 | 官方說明 |
| Google-Extended Google · Gemini models | 模型訓練 | 蒐集網頁訓練模型。擋住它不影響出現在 AI 回答裡，可以自己決定。 | 官方說明 |
| Googlebot Google · Google Search, AI Overviews | 搜尋引擎 | 傳統搜尋引擎；AI 回答也大量用它們的結果（Bing 供給 ChatGPT 搜尋和 Copilot，Google 有 AI 摘要）。 | 官方說明 |
| Bingbot Microsoft · Bing, Copilot | 搜尋引擎 | 傳統搜尋引擎；AI 回答也大量用它們的結果（Bing 供給 ChatGPT 搜尋和 Copilot，Google 有 AI 摘要）。 | 官方說明 |
| Applebot-Extended Apple · Apple Intelligence models | 模型訓練 | 蒐集網頁訓練模型。擋住它不影響出現在 AI 回答裡，可以自己決定。 | 官方說明 |
| Meta-ExternalAgent Meta · Meta AI models | 模型訓練 | 蒐集網頁訓練模型。擋住它不影響出現在 AI 回答裡，可以自己決定。 | 官方說明 |
| CCBot Common Crawl · Common Crawl dataset | 模型訓練 | 蒐集網頁訓練模型。擋住它不影響出現在 AI 回答裡，可以自己決定。 | 官方說明 |
| Amazonbot Amazon · Alexa, Rufus | AI 搜尋 | 建立 AI 搜尋的索引。擋住它，這個 AI 的回答裡基本不會引用你。 | 官方說明 |
| DuckAssistBot DuckDuckGo · DuckAssist | 替使用者開啟連結 | 有人在 AI 裡貼你的連結、或 AI 回答時當場開啟頁面。擋住它，AI 打不開你的頁面。 | 官方說明 |
怎麼判斷放行還是擋住？
依 robots.txt 的標準（RFC 9309）：爬蟲先找寫著自己名字的分組，沒有才用 User-agent: *；同一個分組裡，比對路徑最長的那條規則說了算，一樣長時 Allow 優先。結果表裡寫了是第幾行決定的。
robots.txt 打不開會怎樣？
回傳 404 等 4xx：當成沒有規則，全部放行。回傳 5xx、429、逾時或連不上：Google、OpenAI 這些爬蟲會當成整站禁止抓取，直到能開啟為止。
應該擋住訓練爬蟲嗎？
看你自己。擋住 GPTBot、ClaudeBot、Google-Extended 這些訓練爬蟲，不影響 ChatGPT 搜尋、Claude、Perplexity 在回答裡引用你；放行的話，模型對你的產品了解得更多。
robots.txt 全部放行了，AI 還是讀不到？
robots.txt 只是第一道門。CDN 的「封鎖 AI 爬蟲」開關、防火牆規則和機器人驗證會直接擋請求；頁面內文要等 JavaScript 才出現的，爬蟲也讀不到多少內容。
這個工具收費嗎？
免費，不用登入。kagentx 的評測是收費的：它會實際去問 AI 產品，看回答裡有沒有你、引用了誰。