API 產品的文件站,擋了 AI 爬蟲嗎?
我們查的 12 個知名 API 產品的文件站裡,沒有一家按名字擋 GPTBot、ClaudeBot 或 PerplexityBot。2026-11-09 讀了它們的 robots.txt:文件主體對三個爬蟲都是 Allow,被禁的多是控制台、搜尋、內部或參數路徑。其中 5 家在 robots.txt 裡寫了 Content-Signal,只有 Twilio 寫了 ai-train=no。
| 產品(文件站) | GPTBot | ClaudeBot | PerplexityBot | robots.txt 裡值得注意的 |
|---|---|---|---|---|
| Stripe (docs.stripe.com) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| OpenAI (developers.openai.com) | Allow | Allow | Allow | Allow: / |
| Anthropic (platform.claude.com) | Allow | Allow | Allow | Disallow: /api/ |
| Twilio (www.twilio.com/docs) | Allow | Allow | Allow | Content-Signal: ai-train=no, search=yes, ai-input=yes |
| Cloudflare (developers.cloudflare.com) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| GitHub (docs.github.com) | Allow | Allow | Allow | User-agent: * ; no rules |
| Resend (resend.com/docs) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| Supabase (supabase.com/docs) | Allow | Allow | Allow | Content-Signal: ai-train=yes, search=yes, ai-input=yes |
| Shopify (shopify.dev) | Allow (named block) | Allow (named block) | Allow (via *) | GPTBot, ClaudeBot, ChatGPT-User, Claude-User, CCBot named; same Disallow paths |
| Plaid (plaid.com/docs) | Allow | Allow | Allow | Disallow: /api/* /legacy-docs/ /sandbox/* *.pdf |
| Postman (www.postman.com) | Allow (named block) | Allow (named block) | Allow (named block) | Allow: / ; Disallow: /search?* ; llms.txt linked in comments |
| Mapbox (docs.mapbox.com) | Allow | Allow | Allow | Disallow: /archive/ |
讀法:Allow (via *) 或直接寫 Allow,表示該爬蟲沒有被單獨點名,走的是 User-agent: * 的規則;named block 表示被點名並給了自己的規則。判斷只針對文件路徑(例如 /docs/…),依 robots.txt 文字推出,不是真實爬蟲的行為;CDN 或防火牆可能另外攔截,見 AI 爬蟲的 robots.txt 怎麼寫?。各爬蟲的名字和用途見 AI 爬蟲 User-Agent 對照表。
Content-Signal 是 robots.txt 裡的一行聲明,分別表示是否允許用於模型訓練(ai-train)、搜尋(search)、AI 回答輸入(ai-input)。Twilio 的寫法是允許搜尋和 AI 回答輸入、不允許訓練;這是它自己聲明的立場,不影響 Allow 或 Disallow 的判斷。
定價頁要寫什麼,AI 才會把你當作合適的 API 推薦?
使用者問「哪個郵件 API 適合我」時,回答裡比較的是價格、用量檔位、速率限制和支援的語言。這些都要寫在定價頁的正文裡。通用的價格頁寫法見 價格頁怎麼寫,AI 才答得對?,API 產品多出下面這些。
| 要寫的 | 怎麼寫 | 為什麼 |
|---|---|---|
| 計費單位 | 每千次請求、每則訊息、每百萬 token 等,寫數字和幣別 | AI 比較不同 API 時需要同一個單位 |
| 用量檔位表 | 每檔的月用量、單價、超出後的價格,寫成表格 | 表格比圖片和滑桿更容易被讀到 |
| 速率限制 | 每分鐘或每秒的請求數,按檔位列出 | 開發者選 API 時的硬指標 |
| SLA 和支援 | 可用性承諾、支援管道、回應時間,寫明哪個檔位有 | 回答「適合正式環境嗎」 |
| 更新日期 | 頁面上寫「價格更新於 2026-11」 | AI 答錯價格最常見的原因是讀到舊頁面 |
不要把價格只放在需要點擊切換的元件或圖片裡;用 curl 取頁面,確認價格數字在回傳的 HTML 裡。
OpenAPI 規格要公開嗎?
建議公開,並在文件和儲存庫裡都能找到。我們查的幾家都在 GitHub 上放了公開的 OpenAPI 檔案,2026-11-09 都能打開。規格是機器可讀的介面清單:路徑、參數、回傳欄位、認證方式,AI 程式設計工具和搜尋引擎都可以直接讀,不用從文件頁裡猜。AI 回答是否讀取這些檔案,官方沒有說明,我們未核實。
| 產品 | 公開的規格位置 | 我們看到的(2026-11-09) |
|---|---|---|
| Stripe | github.com/stripe/openapi | spec3.json 能打開 |
| OpenAI | github.com/openai/openai-openapi | openapi.yaml, openapi: 3.1.0 |
| Twilio | github.com/twilio/twilio-oai | spec/json/twilio_api_v2010.json 能打開 |
| GitHub | github.com/github/rest-api-description | api.github.com.json, openapi 3.0.3 |
| Plaid | github.com/plaid/plaid-openapi | 2020-09-14.yml, openapi 3.0.0 |
| Cloudflare | github.com/cloudflare/api-schemas | 儲存庫頁能打開 |
| Resend | github.com/resend/resend-openapi | 儲存庫頁能打開 |
我們只確認了網址能打開,沒有核對這些規格是否是最新或完整的。自己的做法:
1. 把規格放在固定網址
儲存庫裡放一個檔案,文件站再放一個指向它的連結,網址不要經常變。
2. 規格裡的 description 寫完整
每個介面一句話說明做什麼,每個參數寫單位和取值範圍。
3. 文件頁連結到規格
在「API 參考」頁首寫「OpenAPI 規格:網址」,並在 sitemap 裡收進去。
4. 每次發版同步更新
規格裡的版本號、更新日期和更新日誌(見 更新日誌頁對 AI 搜尋有用嗎?)對得上。
狀態頁和更新日誌要放什麼?
狀態頁回答「這個 API 穩不穩」,更新日誌回答「它還在維護嗎」。我們查的 8 家都有公開的狀態頁,2026-11-09 都能打開:
| 產品 | 狀態頁 |
|---|---|
| Stripe | status.stripe.com |
| OpenAI | status.openai.com |
| Anthropic | status.claude.com (另有 /api/v2/status.json,回傳很短的 JSON) |
| Twilio | status.twilio.com |
| Cloudflare | www.cloudflarestatus.com |
| GitHub | www.githubstatus.com (另有 /api/v2/status.json) |
| Resend | resend-status.com |
| Supabase | status.supabase.com |
做法:狀態頁放在 status.你的網域;官網頁尾和文件頁尾都連結過去;定價頁的 SLA 一行連結到它;歷史事件保留可讀的文字,不只放圖表。更新日誌見 更新日誌頁對 AI 搜尋有用嗎?。
範例程式碼怎麼寫,AI 才能引用?
每個介面給一個能直接複製執行的 curl 範例,再給主要語言的 SDK 範例。程式碼放在 HTML 裡,不要用圖片或需要點擊才載入的分頁。
curl https://api.example.com/v1/emails \
-H "Authorization: Bearer $EXAMPLE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"from": "hello@example.com", "to": "you@example.org", "subject": "Hi", "text": "Hello"}'
1. 請求和回傳都給
請求的完整指令加一段回傳的 JSON,欄位名和規格裡一致。
2. 寫明安裝指令和版本
例如 npm、pip 的安裝指令,SDK 支援的語言清單。
3. 一個任務一頁
「用 Node.js 寄一封郵件」「怎麼驗證 webhook 簽章」這樣的頁,開頭直接回答。見 用例頁怎麼寫。
4. 錯誤碼寫成表
狀態碼、含義、怎麼處理。
怎麼讓 AI 在「推薦 API」的回答裡提到你?
除了上面的頁面,比較類的問題通常引用對比頁、評測文章和開發者社群的討論。
1. 先確認官網沒擋爬蟲
用 AI 爬蟲檢查 看 robots.txt,再看 CDN 的機器人規則。
2. 寫 3 個對比頁
「你的 API vs 最常被拿來比的兩家」,每項寫出處和日期,見 比較頁怎麼寫。
3. 寫「最適合誰」的用例頁
一個情境一頁,如「電商訂單通知」。
4. 加 WebAPI 結構化資料(可選)
欄位和正文一致;哪些 AI 會讀取它,官方沒有說明,見 結構化資料對 AI 搜尋有用嗎?。
5. 一個月後問 AI
問「X 情境用哪個 API」,看有沒有提到你、引用了哪些網址。
{
"@context": "https://schema.org",
"@type": "WebAPI",
"name": "Example Mail API",
"description": "REST API for sending transactional email; JSON over HTTPS.",
"documentation": "https://example.com/docs/",
"termsOfService": "https://example.com/terms/",
"provider": { "@type": "Organization", "name": "Example Inc.", "url": "https://example.com/" }
}
文件站本身怎麼寫、llms.txt 要不要做,見 開發者文件怎麼被 AI 搜尋引用? 和 llms.txt 是什麼?;SaaS 通用的推薦問題見 SaaS 產品怎麼被 ChatGPT 推薦?。
常見問題
AI 爬蟲能讀 API 文件站嗎?
從 robots.txt 看可以:2026-11-09 我們讀了 12 個知名 API 產品文件站,沒有一家按名字擋 GPTBot、ClaudeBot 或 PerplexityBot。這只是 robots.txt 文字的判斷,CDN 或防火牆可能另外攔截。
Content-Signal 是什麼?
它是 robots.txt 裡的一行聲明,分別寫 ai-train(訓練)、search(搜尋)、ai-input(AI 回答輸入)是 yes 還是 no。Stripe、Cloudflare、Resend、Supabase 三項都是 yes;Twilio 是 ai-train=no、search=yes、ai-input=yes(2026-11-09)。
OpenAPI 規格會讓 AI 推薦我的 API 嗎?
我們沒有找到官方說明,也沒有拿到實際證據,未核實。公開規格的好處是機器可讀,AI 程式設計工具可以直接用;對「推薦哪個 API」的影響不確定。
定價頁怎麼寫才不被 AI 答錯?
價格、計費單位、用量檔位和更新日期寫成正文裡的文字和表格,不只放在圖片或需要點擊切換的元件裡。用 curl 取頁面,確認價格數字在 HTML 裡。
狀態頁對 AI 推薦有用嗎?
沒有官方說明,未核實。它至少回答了「這個 API 穩不穩」的問題,我們查的 8 家都有公開狀態頁,並且有的提供很短的 JSON 介面。
出處
- Stripe · docs.stripe.com/robots.txt (2026-11-09 讀取)
- OpenAI · developers.openai.com/robots.txt (2026-11-09 讀取)
- Anthropic · platform.claude.com/robots.txt (2026-11-09 讀取)
- Twilio · www.twilio.com/robots.txt (2026-11-09 讀取)
- Cloudflare · developers.cloudflare.com/robots.txt (2026-11-09 讀取)
- Shopify · shopify.dev/robots.txt (2026-11-09 讀取)
- Postman · www.postman.com/robots.txt (2026-11-09 讀取)
- Stripe · stripe/openapi (2026-11-09 讀取)
- GitHub · github/rest-api-description (2026-11-09 讀取)
- GitHub · githubstatus.com status.json (2026-11-09 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。