五個套件倉庫對 AI 爬蟲是什麼態度?
我們讀到的 4 個套件倉庫裡,沒有一家按名字擋 GPTBot、ClaudeBot 或 PerplexityBot,套件頁路徑都沒被禁;第 5 家 npm 的 robots.txt 被 Cloudflare 驗證頁擋了,沒讀到。2026-11-09 我們用 curl 讀了 robots.txt,再各取一個套件頁的原始 HTML。
| 倉庫 | robots.txt(2026-11-09) | 套件頁路徑是否被禁 |
|---|---|---|
| npmjs.com | HTTP 403,回傳 Cloudflare 驗證頁(回應標頭 cf-mitigated: challenge) | 未核實:規則沒讀到 |
| pypi.org | 只有 * 一組,禁 /simple/、/packages/、/pypi/*/json、/search* 等 | /project/<名>/ 沒被禁 |
| crates.io | * 一組,Disallow 為空,註解寫 allow crawling everything by default | 沒被禁 |
| packagist.org | * 一組,禁 /p/、/p2/、/search/ | /packages/<廠商>/<名> 沒被禁 |
| rubygems.org | * 一組,禁 /downloads/、/search?*、/names、/news 等 | /gems/<名> 沒被禁 |
這只是 robots.txt 文字和我們自己的請求,不是 AI 爬蟲真實取到的內容。npm 的驗證頁意味著:我們這種程式化請求拿不到套件頁,真實 AI 爬蟲是否也一樣,我們未核實。爬蟲規則怎麼寫,見 AI 爬蟲的 robots.txt 怎麼寫?。
套件頁的正文在原始 HTML 裡嗎?
四個能取到的倉庫裡,三個把簡介直接寫在 HTML 裡,一個(crates.io)只回傳空外殼。我們各取了一個套件頁,看簡介和 README 句子是否出現在去掉腳本後的正文裡。
| 套件頁 | title 和 meta description 的格式 | 正文是否直出 |
|---|---|---|
| pypi.org/project/requests/ | title:requests · PyPI;meta description 就是一行 Summary:Python HTTP for Humans. | 直出:HTTP 200,約 334KB,README 在正文裡 |
| packagist.org/packages/monolog/monolog | title:monolog/monolog - Packagist.org;meta description 是套件的 description | 直出:README 渲染在正文裡 |
| rubygems.org/gems/rails | title:rails | RubyGems.org | your community gem host;沒有 meta description 標籤 | 簡介句直出;頁面沒有 README,只有簡介、版本表和相依套件 |
| crates.io/crates/serde | title 固定為 crates.io: Rust Package Registry,與套件無關 | 不直出:只有約 5.4KB 的外殼,簡介和 README 要靠腳本載入;不帶 Accept: text/html 的請求還會得到空的 404 |
| registry.npmjs.org/express(npm 的 JSON 接口) | 不是網頁 | 回傳 description、keywords、readme(約 1 萬字元),但這是給程式用的介面,不是套件頁 |
這說明三點:一是套件頁頂部最先出現的就是你寫的一行 description(PyPI 把它放進 meta description);二是 README 在 PyPI 和 Packagist 是套件頁正文,在 RubyGems 不是;三是 crates.io 的套件頁靠腳本渲染,爬蟲不執行腳本時讀不到簡介,見 AI 爬蟲會執行 JavaScript 嗎?。所以不要把「專案是什麼」只寫在套件頁上,官網和 GitHub README 也要有同一句話。
AI 回答「best npm package for X」時會引用什麼?
我們沒有證據。ChatGPT、Claude、Perplexity 官方都沒有說明回答套件推薦時讀哪些來源,我們也沒有調用模型拿到實際引用,所以「引用 README、部落格還是 Stack Overflow」這件事未核實。能確定的只有輸入端:上面五個站的套件頁,大部分對爬蟲可讀,其中 PyPI 和 Packagist 把 README 放在正文裡。
在沒有證據的情況下,穩妥的做法是讓每個爬蟲可能讀到的地方說同一句話:套件頁的 description、README 第一段、官網首頁、文件站首頁。寫法見 {readme} 和 {docs}。
description、keywords 和 README 第一段怎麼寫?
官方文件(2026-11-09 讀):npm 的 description 和 keywords 都是「幫助人們在 npm search 裡發現你的套件」;PyPI 把 description 裡的一行 Summary 放在每個專案頁頂部,keywords 顯示為標籤,classifiers 是 PyPI 維護的固定分類,PyPI 不檢查你選得是否準確;Python 打包規範說 Description 可以寫幾段,但不該塞進整本手冊。
| 欄位 | 怎麼寫 | 為什麼 |
|---|---|---|
| npm description / PyPI Summary | 一句話:是什麼、做什麼、要求的執行環境和版本(例如 Node.js 18+)。不寫口號 | 它出現在套件頁頂部、搜尋結果裡,PyPI 還把它放進 meta description |
| keywords | 4 到 8 個使用者會搜的詞:功能、類別、常見叫法 | 官方說它幫助搜尋;堆無關的詞沒有好處 |
| README 第一段 | 先答「這是什麼」,再寫適用對象和一行安裝指令;和 description 說同一件事 | 它是 PyPI、Packagist 套件頁的正文開頭,也是 GitHub 頁的開頭 |
| classifiers(PyPI) | 只選真實支援的 Python 版本、系統和主題 | 官方說不會檢查是否準確,選錯會誤導使用者 |
| homepage / project.urls | 填官網、文件、更新日誌的完整網址 | 把讀到套件頁的人和程式帶到你能控制的頁面 |
{
"name": "notesite",
"version": "2.4.0",
"description": "Command-line tool that turns Markdown notes into a static site. Node.js 18+.",
"keywords": ["markdown", "static-site-generator", "cli", "notes"],
"homepage": "https://example.com/notesite/",
"repository": { "type": "git", "url": "git+https://github.com/example/notesite.git" }
}
[project] name = "notesite" description = "Command-line tool that turns Markdown notes into a static site. Python 3.9+." readme = "README.md" keywords = ["markdown", "static site generator", "cli", "notes"] classifiers = [ "Programming Language :: Python :: 3", "Topic :: Text Processing :: Markup :: Markdown", ] [project.urls] Homepage = "https://example.com/notesite/" Documentation = "https://example.com/notesite/docs/" Changelog = "https://github.com/example/notesite/releases"
README 整體怎麼寫,見 GitHub README 會被 AI 搜尋引用嗎?;更多 README 以外的位置,見 開源專案怎麼被 AI 搜尋推薦?README 以外的 6 個地方。
棄用標記和版本號會影響 AI 回答嗎?
對 AI 回答的影響,我們沒有證據,未核實。能核對的是 npm 自己的做法:官方文件寫,棄用整個套件會讓它從 npm 網站的搜尋結果中移除,並在套件頁顯示棄用資訊。例如 request 套件的最新版本 2.88.2,2026-11-09 透過 registry.npmjs.org/request/latest 讀到 deprecated 欄位是「request has been deprecated」加一個說明連結。
對你的套件有兩個含義:一是不再維護就用 npm deprecate 寫清楚並指向替代品,別讓舊頁面繼續像在推薦;二是在 README 和更新日誌裡寫明支援的版本和最近更新日期,更新日誌的寫法見 更新日誌頁(changelog)對 AI 搜尋有用嗎?。
怎麼一步一步改?
1. 先用自己的請求看一遍套件頁
用 curl 取你的套件頁,確認 description 和 README 第一段在原始 HTML 裡;npm 頁若被驗證頁擋住,改看 registry.npmjs.org/<套件名> 的 JSON,確認欄位正確。
2. 重寫 description 和 README 第一段
同一句事實:是什麼、做什麼、要求什麼版本。
3. 補全 keywords、classifiers 和連結
只寫真實的;homepage、文件、更新日誌三個網址都填。
4. 官網放同一句定義
官網首頁和文件站首頁用同一句話,頁面直出,見 開發者文件怎麼寫,AI 才讀得懂、引得到?。
5. 不維護就棄用並指向替代品
npm 用 npm deprecate,PyPI 在 README 頂部寫明。
別的套件市集的做法也類似,例如 Obsidian 外掛的頁面欄位和 README 的作用,見 Obsidian 外掛怎麼在 AI 搜尋裡被找到?。
命令列工具還有 Homebrew 的 formula 頁和它的 JSON API,實測見 命令列工具怎麼被 AI 推薦?Homebrew、GitHub 和官網文件頁實測。
常見問題
AI 爬蟲能讀 npm 和 PyPI 的套件頁嗎?
2026-11-09 我們的 curl 請求能取到 PyPI 的套件頁,取不到 npm 的(403,Cloudflare 驗證頁)。真實 AI 爬蟲的情況我們未核實。PyPI 的 robots.txt 沒點名任何 AI 爬蟲,套件頁路徑沒被禁。
AI 推薦 npm 套件時會引用什麼?
沒有官方說明,我們也沒有拿到實際引用的證據,未核實。所以要讓套件頁、README、官網說同一句話。
description 和 keywords 寫什麼?
description 寫一句話:是什麼、做什麼、要求的版本;keywords 寫使用者會搜的 4 到 8 個詞。官方文件說它們幫助人們在 npm search 裡發現套件。
crates.io 的套件頁 AI 讀得到簡介嗎?
2026-11-09 我們取到的原始 HTML 只是約 5.4KB 的外殼,沒有簡介和 README,title 也與套件無關。爬蟲不執行腳本時可能讀不到,所以簡介也要寫在 GitHub README 和官網上。
棄用的套件會怎樣?
npm 官方文件寫:棄用整個套件會讓它從 npm 網站搜尋結果中移除,並在套件頁顯示棄用資訊。對 AI 回答的影響未核實。
出處
- npm · package.json (查看於 2026-11-09)
- npm · Deprecating and undeprecating packages or package versions (查看於 2026-11-09)
- PyPI · Project Metadata (查看於 2026-11-09)
- Python Packaging User Guide · Core metadata specifications (查看於 2026-11-09)
- PyPI · pypi.org/robots.txt (2026-11-09 讀取)
- crates.io · crates.io/robots.txt (2026-11-09 讀取)
- Packagist · packagist.org/robots.txt (2026-11-09 讀取)
- RubyGems · rubygems.org/robots.txt (2026-11-09 讀取)
- npm · registry.npmjs.org/request/latest (2026-11-09 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。