API 产品的文档站,拦了 AI 爬虫吗?
我们查的 12 个知名 API 产品的文档站里,没有一家按名字拦 GPTBot、ClaudeBot 或 PerplexityBot。2026-11-09 读了它们的 robots.txt:文档主体对三个爬虫都是 Allow,被禁的多是控制台、搜索、内部或参数路径。其中 5 家在 robots.txt 里写了 Content-Signal,只有 Twilio 写了 ai-train=no。
| 产品(文档站) | GPTBot | ClaudeBot | PerplexityBot | robots.txt 里值得注意的 |
|---|---|---|---|---|
| Stripe (docs.stripe.com) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| OpenAI (developers.openai.com) | Allow | Allow | Allow | Allow: / |
| Anthropic (platform.claude.com) | Allow | Allow | Allow | Disallow: /api/ |
| Twilio (www.twilio.com/docs) | Allow | Allow | Allow | Content-Signal: ai-train=no, search=yes, ai-input=yes |
| Cloudflare (developers.cloudflare.com) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| GitHub (docs.github.com) | Allow | Allow | Allow | User-agent: * ; no rules |
| Resend (resend.com/docs) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| Supabase (supabase.com/docs) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| Shopify (shopify.dev) | Allow (named block) | Allow (named block) | Allow (via *) | GPTBot, ClaudeBot, ChatGPT-User, Claude-User, CCBot named; same Disallow paths |
| Plaid (plaid.com/docs) | Allow | Allow | Allow | Disallow: /api/* /legacy-docs/ /sandbox/* *.pdf |
| Postman (www.postman.com) | Allow (named block) | Allow (named block) | Allow (named block) | Allow: / ; Disallow: /search?* ; llms.txt linked in comments |
| Mapbox (docs.mapbox.com) | Allow | Allow | Allow | Disallow: /archive/ |
读法:Allow (via *) 或直接写 Allow,表示该爬虫没有被单独点名,走的是 User-agent: * 的规则;named block 表示被点名并给了自己的规则。判断只针对文档路径(例如 /docs/…),按 robots.txt 文字推出,不是真实爬虫的行为;CDN 或防火墙可能另外拦截,见 AI 爬虫的 robots.txt 怎么写?。各爬虫的名字和用途见 AI 爬虫 User-Agent 对照表。
Content-Signal 是 robots.txt 里的一行声明,分别表示是否允许用于模型训练(ai-train)、搜索(search)、AI 回答输入(ai-input)。Twilio 的写法是允许搜索和 AI 回答输入、不允许训练;这是它自己声明的立场,不影响 Allow 或 Disallow 的判断。
定价页要写什么,AI 才会把你当作合适的 API 推荐?
用户问“哪个邮件 API 适合我”时,回答里比较的是价格、用量档位、速率限制和支持的语言。这些都要写在定价页的正文里。通用的价格页写法见 价格页怎么写,AI 才答得对?,API 产品多出下面这些。
| 要写的 | 怎么写 | 为什么 |
|---|---|---|
| 计费单位 | 每千次请求、每条消息、每百万 token 等,写数字和币种 | AI 比较不同 API 时需要同一个单位 |
| 用量档位表 | 每档的月用量、单价、超出后的价格,写成表格 | 表格比图片和滑块更容易被读到 |
| 速率限制 | 每分钟或每秒的请求数,按档位列出 | 开发者选 API 时的硬指标 |
| SLA 和支持 | 可用性承诺、支持渠道、响应时间,写明哪个档位有 | 回答“适合生产环境吗” |
| 更新日期 | 页面上写“价格更新于 2026-11” | AI 答错价格最常见的原因是读到旧页面 |
不要把价格只放在需要点击切换的组件或图片里;用 curl 取页面,确认价格数字在返回的 HTML 里。
OpenAPI 规范要公开吗?
建议公开,并在文档和仓库里都能找到。我们查的几家都在 GitHub 上放了公开的 OpenAPI 文件,2026-11-09 都能打开。规范是机器可读的接口清单:路径、参数、返回字段、认证方式,AI 编程工具和搜索引擎都可以直接读,不用从文档页里猜。AI 回答是否读取这些文件,官方没有说明,我们未核实。
| 产品 | 公开的规范位置 | 我们看到的(2026-11-09) |
|---|---|---|
| Stripe | github.com/stripe/openapi | spec3.json 能打开 |
| OpenAI | github.com/openai/openai-openapi | openapi.yaml, openapi: 3.1.0 |
| Twilio | github.com/twilio/twilio-oai | spec/json/twilio_api_v2010.json 能打开 |
| GitHub | github.com/github/rest-api-description | api.github.com.json, openapi 3.0.3 |
| Plaid | github.com/plaid/plaid-openapi | 2020-09-14.yml, openapi 3.0.0 |
| Cloudflare | github.com/cloudflare/api-schemas | 仓库页能打开 |
| Resend | github.com/resend/resend-openapi | 仓库页能打开 |
我们只确认了地址能打开,没有核对这些规范是否是最新或完整的。自己的做法:
1. 把规范放在固定网址
仓库里放一个文件,文档站再放一个指向它的链接,网址不要经常变。
2. 规范里的 description 写完整
每个接口一句话说明做什么,每个参数写单位和取值范围。
3. 文档页链接到规范
在“API 参考”页首写“OpenAPI 规范:网址”,并在 sitemap 里收进去。
4. 每次发版同步更新
规范里的版本号、更新日期和更新日志(见 更新日志页对 AI 搜索有用吗?)对得上。
状态页和更新日志要放什么?
状态页回答“这个 API 稳不稳”,更新日志回答“它还在维护吗”。我们查的 8 家都有公开的状态页,2026-11-09 都能打开:
| 产品 | 状态页 |
|---|---|
| Stripe | status.stripe.com |
| OpenAI | status.openai.com |
| Anthropic | status.claude.com (另有 /api/v2/status.json,返回很短的 JSON) |
| Twilio | status.twilio.com |
| Cloudflare | www.cloudflarestatus.com |
| GitHub | www.githubstatus.com (另有 /api/v2/status.json) |
| Resend | resend-status.com |
| Supabase | status.supabase.com |
做法:状态页放在 status.你的域名;官网页脚和文档页脚都链接过去;定价页的 SLA 一行链接到它;历史事件保留可读的文字,不只放图表。更新日志见 更新日志页对 AI 搜索有用吗?。
示例代码怎么写,AI 才能引用?
每个接口给一个能直接复制运行的 curl 例子,再给主要语言的 SDK 例子。代码放在 HTML 里,不要用图片或需要点击才加载的标签页。
curl https://api.example.com/v1/emails \
-H "Authorization: Bearer $EXAMPLE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"from": "hello@example.com", "to": "you@example.org", "subject": "Hi", "text": "Hello"}'
1. 请求和返回都给
请求的完整命令加一段返回的 JSON,字段名和规范里一致。
2. 写明安装命令和版本
例如 npm、pip 的安装命令,SDK 支持的语言列表。
3. 一个任务一页
“用 Node.js 发一封邮件”“怎么验证 webhook 签名”这样的页,开头直接回答。见 用例页怎么写。
4. 错误码写成表
状态码、含义、怎么处理。
怎么让 AI 在“推荐 API”的回答里提到你?
除了上面的页面,比较类的问题通常引用对比页、评测文章和开发者社区的讨论。
1. 先确认官网没拦爬虫
用 AI 爬虫检查 看 robots.txt,再看 CDN 的机器人规则。
2. 写 3 个对比页
“你的 API vs 最常被拿来比的两家”,每项写出处和日期,见 对比页怎么写。
3. 写“最适合谁”的用例页
一个场景一页,如“电商订单通知”。
4. 加 WebAPI 结构化数据(可选)
字段和正文一致;哪些 AI 会读取它,官方没有说明,见 结构化数据对 AI 搜索有用吗?。
5. 一个月后问 AI
问“X 场景用哪个 API”,看有没有提到你、引用了哪些网址。
{
"@context": "https://schema.org",
"@type": "WebAPI",
"name": "Example Mail API",
"description": "REST API for sending transactional email; JSON over HTTPS.",
"documentation": "https://example.com/docs/",
"termsOfService": "https://example.com/terms/",
"provider": { "@type": "Organization", "name": "Example Inc.", "url": "https://example.com/" }
}
文档站本身怎么写、llms.txt 要不要做,见 开发者文档怎么被 AI 搜索引用? 和 llms.txt 是什么?;SaaS 通用的推荐问题见 SaaS 产品怎么被 ChatGPT 推荐?。
常见问题
AI 爬虫能读 API 文档站吗?
从 robots.txt 看可以:2026-11-09 我们读了 12 个知名 API 产品文档站,没有一家按名字拦 GPTBot、ClaudeBot 或 PerplexityBot。这只是 robots.txt 文字的判断,CDN 或防火墙可能另外拦截。
Content-Signal 是什么?
它是 robots.txt 里的一行声明,分别写 ai-train(训练)、search(搜索)、ai-input(AI 回答输入)是 yes 还是 no。Stripe、Cloudflare、Resend、Supabase 三项都是 yes;Twilio 是 ai-train=no、search=yes、ai-input=yes(2026-11-09)。
OpenAPI 规范会让 AI 推荐我的 API 吗?
我们没有找到官方说明,也没有拿到实际证据,未核实。公开规范的好处是机器可读,AI 编程工具可以直接用;对“推荐哪个 API”的影响不确定。
定价页怎么写才不被 AI 答错?
价格、计费单位、用量档位和更新日期写成正文里的文字和表格,不只放在图片或需要点击切换的组件里。用 curl 取页面,确认价格数字在 HTML 里。
状态页对 AI 推荐有用吗?
没有官方说明,未核实。它至少回答了“这个 API 稳不稳”的问题,我们查的 8 家都有公开状态页,并且有的提供很短的 JSON 接口。
出处
- Stripe · docs.stripe.com/robots.txt (2026-11-09 读取)
- OpenAI · developers.openai.com/robots.txt (2026-11-09 读取)
- Anthropic · platform.claude.com/robots.txt (2026-11-09 读取)
- Twilio · www.twilio.com/robots.txt (2026-11-09 读取)
- Cloudflare · developers.cloudflare.com/robots.txt (2026-11-09 读取)
- Shopify · shopify.dev/robots.txt (2026-11-09 读取)
- Postman · www.postman.com/robots.txt (2026-11-09 读取)
- Stripe · stripe/openapi (2026-11-09 读取)
- GitHub · github/rest-api-description (2026-11-09 读取)
- GitHub · githubstatus.com status.json (2026-11-09 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。