五个包仓库对 AI 爬虫是什么态度?
我们读到的 4 个包仓库里,没有一家按名字拦 GPTBot、ClaudeBot 或 PerplexityBot,包页路径都没被禁;第 5 家 npm 的 robots.txt 被 Cloudflare 验证页挡了,没读到。2026-11-09 我们用 curl 读了 robots.txt,再各取一个包页的原始 HTML。
| 仓库 | robots.txt(2026-11-09) | 包页路径是否被禁 |
|---|---|---|
| npmjs.com | HTTP 403,返回 Cloudflare 验证页(响应头 cf-mitigated: challenge) | 未核实:规则没读到 |
| pypi.org | 只有 * 一组,禁 /simple/、/packages/、/pypi/*/json、/search* 等 | /project/<名>/ 没被禁 |
| crates.io | * 一组,Disallow 为空,注释写 allow crawling everything by default | 没被禁 |
| packagist.org | * 一组,禁 /p/、/p2/、/search/ | /packages/<厂商>/<名> 没被禁 |
| rubygems.org | * 一组,禁 /downloads/、/search?*、/names、/news 等 | /gems/<名> 没被禁 |
这只是 robots.txt 文字和我们自己的请求,不是 AI 爬虫真实取到的内容。npm 的验证页意味着:我们这种程序化请求拿不到包页,真实 AI 爬虫是否也一样,我们未核实。爬虫规则怎么写,见 AI 爬虫的 robots.txt 怎么写?。
包页的正文在原始 HTML 里吗?
四个能取到的仓库里,三个把简介直接写在 HTML 里,一个(crates.io)只返回空外壳。我们各取了一个包页,看简介和 README 句子是否出现在去掉脚本后的正文里。
| 包页 | title 和 meta description 的格式 | 正文是否直出 |
|---|---|---|
| pypi.org/project/requests/ | title:requests · PyPI;meta description 就是一行 Summary:Python HTTP for Humans. | 直出:HTTP 200,约 334KB,README 在正文里 |
| packagist.org/packages/monolog/monolog | title:monolog/monolog - Packagist.org;meta description 是包的 description | 直出:README 渲染在正文里 |
| rubygems.org/gems/rails | title:rails | RubyGems.org | your community gem host;没有 meta description 标签 | 简介句直出;页面没有 README,只有简介、版本表和依赖 |
| crates.io/crates/serde | title 固定为 crates.io: Rust Package Registry,与包无关 | 不直出:只有约 5.4KB 的外壳,简介和 README 要靠脚本加载;不带 Accept: text/html 的请求还会得到空的 404 |
| registry.npmjs.org/express(npm 的 JSON 接口) | 不是网页 | 返回 description、keywords、readme(约 1 万字符),但这是给程序用的接口,不是包页 |
这说明三点:一是包页顶部最先出现的就是你写的一行 description(PyPI 把它放进 meta description);二是 README 在 PyPI 和 Packagist 是包页正文,在 RubyGems 不是;三是 crates.io 的包页靠脚本渲染,爬虫不执行脚本时读不到简介,见 AI 爬虫会执行 JavaScript 吗?。所以不要把“项目是什么”只写在包页上,官网和 GitHub README 也要有同一句话。
AI 回答“best npm package for X”时会引用什么?
我们没有证据。ChatGPT、Claude、Perplexity 官方都没有说明回答包推荐时读哪些来源,我们也没有调模型拿到实际引用,所以“引用 README、博客还是 Stack Overflow”这件事未核实。能确定的只有输入端:上面五个站的包页,大部分对爬虫可读,其中 PyPI 和 Packagist 把 README 放在正文里。
在没有证据的情况下,稳妥的做法是让每个爬虫可能读到的地方说同一句话:包页的 description、README 第一段、官网首页、文档站首页。写法见 {readme} 和 {docs}。
description、keywords 和 README 第一段怎么写?
官方文档(2026-11-09 读):npm 的 description 和 keywords 都是“帮助人们在 npm search 里发现你的包”;PyPI 把 description 里的一行 Summary 放在每个项目页顶部,keywords 显示为标签,classifiers 是 PyPI 维护的固定分类,PyPI 不检查你选得是否准确;Python 打包规范说 Description 可以写几段,但不该塞进整本手册。
| 字段 | 怎么写 | 为什么 |
|---|---|---|
| npm description / PyPI Summary | 一句话:是什么、做什么、要求的运行环境和版本(例如 Node.js 18+)。不写口号 | 它出现在包页顶部、搜索结果里,PyPI 还把它放进 meta description |
| keywords | 4 到 8 个用户会搜的词:功能、类别、常见叫法 | 官方说它帮助搜索;堆无关的词没有好处 |
| README 第一段 | 先答“这是什么”,再写适用对象和一行安装命令;和 description 说同一件事 | 它是 PyPI、Packagist 包页的正文开头,也是 GitHub 页的开头 |
| classifiers(PyPI) | 只选真实支持的 Python 版本、系统和主题 | 官方说不会检查是否准确,选错会误导用户 |
| homepage / project.urls | 填官网、文档、更新日志的完整网址 | 把读到包页的人和程序带到你能控制的页面 |
{
"name": "notesite",
"version": "2.4.0",
"description": "Command-line tool that turns Markdown notes into a static site. Node.js 18+.",
"keywords": ["markdown", "static-site-generator", "cli", "notes"],
"homepage": "https://example.com/notesite/",
"repository": { "type": "git", "url": "git+https://github.com/example/notesite.git" }
}
[project] name = "notesite" description = "Command-line tool that turns Markdown notes into a static site. Python 3.9+." readme = "README.md" keywords = ["markdown", "static site generator", "cli", "notes"] classifiers = [ "Programming Language :: Python :: 3", "Topic :: Text Processing :: Markup :: Markdown", ] [project.urls] Homepage = "https://example.com/notesite/" Documentation = "https://example.com/notesite/docs/" Changelog = "https://github.com/example/notesite/releases"
README 整体怎么写,见 GitHub README 会被 AI 搜索引用吗?;更多 README 以外的位置,见 开源项目怎么被 AI 搜索推荐?README 以外的 6 个地方。
弃用标记和版本号会影响 AI 回答吗?
对 AI 回答的影响,我们没有证据,未核实。能核对的是 npm 自己的做法:官方文档写,弃用整个包会让它从 npm 网站的搜索结果中移除,并在包页显示弃用信息。例如 request 包的最新版本 2.88.2,2026-11-09 通过 registry.npmjs.org/request/latest 读到 deprecated 字段是“request has been deprecated”加一个说明链接。
对你的包有两个含义:一是不再维护就用 npm deprecate 写清楚并指向替代品,别让旧页面继续像在推荐;二是在 README 和更新日志里写明支持的版本和最近更新日期,更新日志的写法见 更新日志页(changelog)对 AI 搜索有用吗?。
怎么一步一步改?
1. 先用自己的请求看一遍包页
用 curl 取你的包页,确认 description 和 README 第一段在原始 HTML 里;npm 页若被验证页挡住,改看 registry.npmjs.org/<包名> 的 JSON,确认字段正确。
2. 重写 description 和 README 第一段
同一句事实:是什么、做什么、要求什么版本。
3. 补全 keywords、classifiers 和链接
只写真实的;homepage、文档、更新日志三个网址都填。
4. 官网放同一句定义
官网首页和文档站首页用同一句话,页面直出,见 开发者文档怎么写,AI 才读得懂、引得到?。
5. 不维护就弃用并指向替代品
npm 用 npm deprecate,PyPI 在 README 顶部写明。
别的包市场的做法也类似,例如 Obsidian 插件的页面字段和 README 的作用,见 Obsidian 插件怎么在 AI 搜索里被找到?。
命令行工具还有 Homebrew 的 formula 页和它的 JSON API,实测见 命令行工具怎么被 AI 推荐?Homebrew、GitHub 和官网文档页实测。
常见问题
AI 爬虫能读 npm 和 PyPI 的包页吗?
2026-11-09 我们的 curl 请求能取到 PyPI 的包页,取不到 npm 的(403,Cloudflare 验证页)。真实 AI 爬虫的情况我们未核实。PyPI 的 robots.txt 没点名任何 AI 爬虫,包页路径没被禁。
AI 推荐 npm 包时会引用什么?
没有官方说明,我们也没有拿到实际引用的证据,未核实。所以要让包页、README、官网说同一句话。
description 和 keywords 写什么?
description 写一句话:是什么、做什么、要求的版本;keywords 写用户会搜的 4 到 8 个词。官方文档说它们帮助人们在 npm search 里发现包。
crates.io 的包页 AI 读得到简介吗?
2026-11-09 我们取到的原始 HTML 只是约 5.4KB 的外壳,没有简介和 README,title 也与包无关。爬虫不执行脚本时可能读不到,所以简介也要写在 GitHub README 和官网上。
弃用的包会怎样?
npm 官方文档写:弃用整个包会让它从 npm 网站搜索结果中移除,并在包页显示弃用信息。对 AI 回答的影响未核实。
出处
- npm · package.json (查看于 2026-11-09)
- npm · Deprecating and undeprecating packages or package versions (查看于 2026-11-09)
- PyPI · Project Metadata (查看于 2026-11-09)
- Python Packaging User Guide · Core metadata specifications (查看于 2026-11-09)
- PyPI · pypi.org/robots.txt (2026-11-09 读取)
- crates.io · crates.io/robots.txt (2026-11-09 读取)
- Packagist · packagist.org/robots.txt (2026-11-09 读取)
- RubyGems · rubygems.org/robots.txt (2026-11-09 读取)
- npm · registry.npmjs.org/request/latest (2026-11-09 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。