主要的 AI 爬虫，逐个核对的结果
下面每一行都在 2026-11-05 打开官方页面核对。没核对到的行直接写「未核实」，不拿第三方目录补。「用途」按官方说法分三类：训练（收集内容训练模型）、搜索（给 AI 搜索建索引）、用户触发（用户提问时现场打开网页）。
| 爬虫 / 标记 | 哪家 | 用途 | 遵守 robots.txt 吗（官方说法） | 官方写的 User-Agent | 官方文档 | 核对日期 |
|---|---|---|---|---|---|---|
| GPTBot | OpenAI | 训练 | 用 robots.txt 控制；拦它表示内容不用于训练基础模型 | GPTBot/1.4 | OpenAI | 2026-11-05 |
| OAI-SearchBot | OpenAI | 搜索 | 用 robots.txt 控制；官方建议放行，拦了不会出现在 ChatGPT 搜索回答里 | OAI-SearchBot/1.4 | OpenAI | 2026-11-05 |
| ChatGPT-User | OpenAI | 用户触发 | 官方写明：用户发起的访问，robots.txt 规则可能不适用 | ChatGPT-User/1.0 | OpenAI | 2026-11-05 |
| ClaudeBot | Anthropic | 训练 | 遵守（官方：其爬虫遵守 robots.txt） | 官方页未列完整串 | Anthropic | 2026-11-05 |
| Claude-User | Anthropic | 用户触发 | 遵守（同上，官方一并说明） | 官方页未列完整串 | Anthropic | 2026-11-05 |
| Claude-SearchBot | Anthropic | 搜索 | 遵守（同上，官方一并说明） | 官方页未列完整串 | Anthropic | 2026-11-05 |
| PerplexityBot | Perplexity | 搜索 | 可用 robots.txt 管理，官方建议放行；官方说不用于训练基础模型 | PerplexityBot/1.0 | Perplexity | 2026-11-05 |
| Perplexity-User | Perplexity | 用户触发 | 官方写明：因为是用户请求的，一般忽略 robots.txt | Perplexity-User/1.0 | Perplexity | 2026-11-05 |
| Google-Extended | 训练和 grounding（控制标记） | 只是 robots.txt 里的标记，没有单独的 User-Agent；不影响搜索收录，也不是排名信号 | 无（抓取用 Google 现有爬虫） | 2026-11-05 | ||
| Googlebot | 传统搜索 | 官方：自动抓取总是遵守 robots.txt | 官方页列了手机和桌面两种串 | 2026-11-05 | ||
| Applebot | Apple | 搜索（数据可能用于训练） | 遵守；没有 Applebot 规则时按 Googlebot 规则；iTMS 用户代理不遵守 | 官方页未取到完整串 | Apple | 2026-11-05 |
| Applebot-Extended | Apple | 训练（控制标记） | 不抓取网页，只决定 Applebot 抓到的内容能否用于训练；拦了仍可出现在搜索里 | 无（不是爬虫） | Apple | 2026-11-05 |
| CCBot | Common Crawl | 开放网页数据集 | 官方给了 robots.txt 的拦截写法，但没有直接写「遵守」 | CCBot/2.0 | Common Crawl | 2026-11-05 |
| Bingbot | Microsoft | 传统搜索 | 未核实 | 未核实 | Microsoft（本机取不到正文） | 未核实 |
| Bytespider | ByteDance | 未核实 | 未核实：没有找到字节跳动的官方文档，第三方说法不一致，所以不下结论 | 未核实 | 无 | 未核实 |
哪些是爬虫，哪些只是 robots.txt 里的标记？
Google-Extended 和 Applebot-Extended 都不是会来访问你服务器的爬虫。Google 文档写明 Google-Extended 没有单独的 User-Agent；Apple 文档写明 Applebot-Extended 不抓取网页。它们只是你在 robots.txt 里写的控制标记，所以服务器日志里搜不到这两个名字，要看日志得搜 Googlebot 或 Applebot。
怎么确认一个 User-Agent 是真的？
User-Agent 字符串谁都能伪造。Google 文档提醒，真实的常规爬虫通常来自公布的 IP 范围，反向 DNS 能对上；OpenAI 和 Perplexity 也各自公布了 IP 列表（OpenAI 每个爬虫一份 json，Perplexity 两份），Common Crawl 的页面也提醒有冒用 CCBot 名字的爬虫。做防火墙规则时，要按 IP 列表核对，不要只信字符串。
下一步看什么？
这张表只回答「它是谁、管什么」。具体怎么写 robots.txt、拦了会怎样、三份模板，见 AI 爬虫的 robots.txt 怎么写；想看自己的网站现在放行了哪些，用 AI 爬虫检查。各家怎么做见 怎么让 ChatGPT 推荐我的产品、怎么让 Perplexity 引用你的网站。
常见问题
GPTBot 和 OAI-SearchBot 有什么区别？
OpenAI 文档写的是：GPTBot 收集可能用于训练基础模型的内容；OAI-SearchBot 让网站出现在 ChatGPT 搜索里。拦 GPTBot 不等于退出搜索。
Google-Extended 的 User-Agent 是什么？
没有。Google 文档写明它没有单独的 HTTP User-Agent，抓取用的是 Google 现有的爬虫，Google-Extended 只是 robots.txt 里的控制标记。
哪些 AI 爬虫会无视 robots.txt？
官方明确说的有两个：Perplexity 说 Perplexity-User 一般忽略 robots.txt，OpenAI 说 ChatGPT-User 的访问 robots.txt 规则可能不适用。两者都是用户触发的访问。Bytespider 是否遵守，我们没有找到官方说法，未核实。
Bingbot 算 AI 爬虫吗？
它是 Bing 搜索的爬虫。Bing Webmaster Tools 的帮助页本机取不到正文，所以它的具体说法这里标未核实。
这张表会过期吗？
会。爬虫名称和版本号会变，表里每行都写了核对日期，用之前请回官方页确认。
出处
- OpenAI · Overview of OpenAI Crawlers （2026-11-05 核对）
- Anthropic · Does Anthropic crawl data from the web? （2026-11-05 核对）
- Perplexity · Perplexity Crawlers （2026-11-05 核对，页面未写日期）
- Google Search Central · Google’s common crawlers （2026-11-05 核对，页面未写日期）
- Apple · About Applebot （2026-11-05 核对）
- Common Crawl · CCBot （2026-11-05 核对）
- kagentx 评测：案例页的数据，日期写在每个例子里。