免费工具robots.txt 和
robots.txt 和
AI 爬虫检查
输入网址，看 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等 16 个 AI 和搜索爬虫能不能读你的页面：每个爬虫的结论、robots.txt 里决定它的那一行，以及怎么改。
免费，不用登录。只读取这个网站公开的文件，不保存你输入的网址。
检查哪些爬虫，拦住会怎样
按用途分四类。AI 搜索和替用户打开链接的爬虫决定你会不会出现在 AI 回答里；训练爬虫只影响模型训练。
| 爬虫 | 用途 | 拦住会怎样 | 来源 |
|---|---|---|---|
| OAI-SearchBot OpenAI · ChatGPT search | AI 搜索 | 建 AI 搜索的索引。拦住它，这个 AI 的回答里基本不会引用你。 | 官方说明 |
| ChatGPT-User OpenAI · ChatGPT | 替用户打开链接 | 有人在 AI 里贴你的链接、或 AI 回答时现场打开页面。拦住它，AI 打不开你的页面。 | 官方说明 |
| GPTBot OpenAI · OpenAI models | 模型训练 | 收集网页训练模型。拦住它不影响出现在 AI 回答里，是可以自己选的。 | 官方说明 |
| Claude-SearchBot Anthropic · Claude search | AI 搜索 | 建 AI 搜索的索引。拦住它，这个 AI 的回答里基本不会引用你。 | 官方说明 |
| Claude-User Anthropic · Claude | 替用户打开链接 | 有人在 AI 里贴你的链接、或 AI 回答时现场打开页面。拦住它，AI 打不开你的页面。 | 官方说明 |
| ClaudeBot Anthropic · Claude models | 模型训练 | 收集网页训练模型。拦住它不影响出现在 AI 回答里，是可以自己选的。 | 官方说明 |
| PerplexityBot Perplexity · Perplexity search | AI 搜索 | 建 AI 搜索的索引。拦住它，这个 AI 的回答里基本不会引用你。 | 官方说明 |
| Perplexity-User Perplexity · Perplexity | 替用户打开链接 | 有人在 AI 里贴你的链接、或 AI 回答时现场打开页面。拦住它，AI 打不开你的页面。 | 官方说明 |
| Google-Extended Google · Gemini models | 模型训练 | 收集网页训练模型。拦住它不影响出现在 AI 回答里，是可以自己选的。 | 官方说明 |
| Googlebot Google · Google Search, AI Overviews | 搜索引擎 | 传统搜索引擎；AI 回答也大量用它们的结果（Bing 供给 ChatGPT 搜索和 Copilot，Google 有 AI 摘要）。 | 官方说明 |
| Bingbot Microsoft · Bing, Copilot | 搜索引擎 | 传统搜索引擎；AI 回答也大量用它们的结果（Bing 供给 ChatGPT 搜索和 Copilot，Google 有 AI 摘要）。 | 官方说明 |
| Applebot-Extended Apple · Apple Intelligence models | 模型训练 | 收集网页训练模型。拦住它不影响出现在 AI 回答里，是可以自己选的。 | 官方说明 |
| Meta-ExternalAgent Meta · Meta AI models | 模型训练 | 收集网页训练模型。拦住它不影响出现在 AI 回答里，是可以自己选的。 | 官方说明 |
| CCBot Common Crawl · Common Crawl dataset | 模型训练 | 收集网页训练模型。拦住它不影响出现在 AI 回答里，是可以自己选的。 | 官方说明 |
| Amazonbot Amazon · Alexa, Rufus | AI 搜索 | 建 AI 搜索的索引。拦住它，这个 AI 的回答里基本不会引用你。 | 官方说明 |
| DuckAssistBot DuckDuckGo · DuckAssist | 替用户打开链接 | 有人在 AI 里贴你的链接、或 AI 回答时现场打开页面。拦住它，AI 打不开你的页面。 | 官方说明 |
怎么判断放行还是拦住？
按 robots.txt 的标准（RFC 9309）：爬虫先找写着自己名字的分组，没有才用 User-agent: *；同一个分组里，匹配路径最长的那条规则说了算，一样长时 Allow 优先。结果表里写了是第几行决定的。
robots.txt 打不开会怎样？
返回 404 等 4xx：当成没有规则，全部放行。返回 5xx、429、超时或连不上：Google、OpenAI 这些爬虫会当成整站禁止抓取，直到能打开为止。
应该拦住训练爬虫吗？
看你自己。拦住 GPTBot、ClaudeBot、Google-Extended 这些训练爬虫，不影响 ChatGPT 搜索、Claude、Perplexity 在回答里引用你；放行的话，模型对你的产品了解得更多。
robots.txt 全部放行了，AI 还是读不到？
robots.txt 只是第一道门。CDN 的「拦截 AI 爬虫」开关、防火墙规则和机器人验证会直接拦请求；页面正文要等 JavaScript 才出现的，爬虫也读不到多少内容。
这个工具收费吗？
免费，不用登录。kagentx 的评测是收费的：它会实际去问 AI 产品，看回答里有没有你、引用了谁。