指南 · npm 与 PyPI

npm、PyPI 上的包怎么被 AI 推荐?

更新于 2026-11-09 · kagentx

短答案

先把包页最先显示的一句 description 和 README 第一段写成同一句事实(是什么、做什么、要求什么版本),再在官网放同样的定义。2026-11-09 我们实测了五个包仓库:PyPI、crates.io、Packagist、RubyGems 的 robots.txt 都没按名字拦 GPTBot、ClaudeBot 或 PerplexityBot,npm 的 robots.txt 被 Cloudflare 验证页挡了,没读到。包页里,PyPI、Packagist 的 README 在原始 HTML 里,crates.io 只有空外壳。AI 回答“best npm package for X”时引用什么,没有官方说明,我们未核实。

五个包仓库对 AI 爬虫是什么态度?

我们读到的 4 个包仓库里,没有一家按名字拦 GPTBot、ClaudeBot 或 PerplexityBot,包页路径都没被禁;第 5 家 npm 的 robots.txt 被 Cloudflare 验证页挡了,没读到。2026-11-09 我们用 curl 读了 robots.txt,再各取一个包页的原始 HTML。

仓库robots.txt(2026-11-09)包页路径是否被禁
npmjs.comHTTP 403,返回 Cloudflare 验证页(响应头 cf-mitigated: challenge)未核实:规则没读到
pypi.org只有 * 一组,禁 /simple/、/packages/、/pypi/*/json、/search* 等/project/<名>/ 没被禁
crates.io* 一组,Disallow 为空,注释写 allow crawling everything by default没被禁
packagist.org* 一组,禁 /p/、/p2/、/search//packages/<厂商>/<名> 没被禁
rubygems.org* 一组,禁 /downloads/、/search?*、/names、/news 等/gems/<名> 没被禁

这只是 robots.txt 文字和我们自己的请求,不是 AI 爬虫真实取到的内容。npm 的验证页意味着:我们这种程序化请求拿不到包页,真实 AI 爬虫是否也一样,我们未核实。爬虫规则怎么写,见 AI 爬虫的 robots.txt 怎么写?。

包页的正文在原始 HTML 里吗?

四个能取到的仓库里,三个把简介直接写在 HTML 里,一个(crates.io)只返回空外壳。我们各取了一个包页,看简介和 README 句子是否出现在去掉脚本后的正文里。

包页title 和 meta description 的格式正文是否直出
pypi.org/project/requests/title:requests · PyPI;meta description 就是一行 Summary:Python HTTP for Humans.直出:HTTP 200,约 334KB,README 在正文里
packagist.org/packages/monolog/monologtitle:monolog/monolog - Packagist.org;meta description 是包的 description直出:README 渲染在正文里
rubygems.org/gems/railstitle:rails | RubyGems.org | your community gem host;没有 meta description 标签简介句直出;页面没有 README,只有简介、版本表和依赖
crates.io/crates/serdetitle 固定为 crates.io: Rust Package Registry,与包无关不直出:只有约 5.4KB 的外壳,简介和 README 要靠脚本加载;不带 Accept: text/html 的请求还会得到空的 404
registry.npmjs.org/express(npm 的 JSON 接口)不是网页返回 description、keywords、readme(约 1 万字符),但这是给程序用的接口,不是包页

这说明三点:一是包页顶部最先出现的就是你写的一行 description(PyPI 把它放进 meta description);二是 README 在 PyPI 和 Packagist 是包页正文,在 RubyGems 不是;三是 crates.io 的包页靠脚本渲染,爬虫不执行脚本时读不到简介,见 AI 爬虫会执行 JavaScript 吗?。所以不要把“项目是什么”只写在包页上,官网和 GitHub README 也要有同一句话。

AI 回答“best npm package for X”时会引用什么?

我们没有证据。ChatGPT、Claude、Perplexity 官方都没有说明回答包推荐时读哪些来源,我们也没有调模型拿到实际引用,所以“引用 README、博客还是 Stack Overflow”这件事未核实。能确定的只有输入端:上面五个站的包页,大部分对爬虫可读,其中 PyPI 和 Packagist 把 README 放在正文里。

在没有证据的情况下,稳妥的做法是让每个爬虫可能读到的地方说同一句话:包页的 description、README 第一段、官网首页、文档站首页。写法见 {readme} 和 {docs}。

description、keywords 和 README 第一段怎么写?

官方文档(2026-11-09 读):npm 的 description 和 keywords 都是“帮助人们在 npm search 里发现你的包”;PyPI 把 description 里的一行 Summary 放在每个项目页顶部,keywords 显示为标签,classifiers 是 PyPI 维护的固定分类,PyPI 不检查你选得是否准确;Python 打包规范说 Description 可以写几段,但不该塞进整本手册。

字段怎么写为什么
npm description / PyPI Summary一句话:是什么、做什么、要求的运行环境和版本(例如 Node.js 18+)。不写口号它出现在包页顶部、搜索结果里,PyPI 还把它放进 meta description
keywords4 到 8 个用户会搜的词:功能、类别、常见叫法官方说它帮助搜索;堆无关的词没有好处
README 第一段先答“这是什么”,再写适用对象和一行安装命令;和 description 说同一件事它是 PyPI、Packagist 包页的正文开头,也是 GitHub 页的开头
classifiers(PyPI)只选真实支持的 Python 版本、系统和主题官方说不会检查是否准确,选错会误导用户
homepage / project.urls填官网、文档、更新日志的完整网址把读到包页的人和程序带到你能控制的页面
{
  "name": "notesite",
  "version": "2.4.0",
  "description": "Command-line tool that turns Markdown notes into a static site. Node.js 18+.",
  "keywords": ["markdown", "static-site-generator", "cli", "notes"],
  "homepage": "https://example.com/notesite/",
  "repository": { "type": "git", "url": "git+https://github.com/example/notesite.git" }
}
[project]
name = "notesite"
description = "Command-line tool that turns Markdown notes into a static site. Python 3.9+."
readme = "README.md"
keywords = ["markdown", "static site generator", "cli", "notes"]
classifiers = [
  "Programming Language :: Python :: 3",
  "Topic :: Text Processing :: Markup :: Markdown",
]

[project.urls]
Homepage = "https://example.com/notesite/"
Documentation = "https://example.com/notesite/docs/"
Changelog = "https://github.com/example/notesite/releases"

README 整体怎么写,见 GitHub README 会被 AI 搜索引用吗?;更多 README 以外的位置,见 开源项目怎么被 AI 搜索推荐?README 以外的 6 个地方。

弃用标记和版本号会影响 AI 回答吗?

对 AI 回答的影响,我们没有证据,未核实。能核对的是 npm 自己的做法:官方文档写,弃用整个包会让它从 npm 网站的搜索结果中移除,并在包页显示弃用信息。例如 request 包的最新版本 2.88.2,2026-11-09 通过 registry.npmjs.org/request/latest 读到 deprecated 字段是“request has been deprecated”加一个说明链接。

对你的包有两个含义:一是不再维护就用 npm deprecate 写清楚并指向替代品,别让旧页面继续像在推荐;二是在 README 和更新日志里写明支持的版本和最近更新日期,更新日志的写法见 更新日志页(changelog)对 AI 搜索有用吗?。

怎么一步一步改?

  1. 1. 先用自己的请求看一遍包页

    用 curl 取你的包页,确认 description 和 README 第一段在原始 HTML 里;npm 页若被验证页挡住,改看 registry.npmjs.org/<包名> 的 JSON,确认字段正确。

  2. 2. 重写 description 和 README 第一段

    同一句事实:是什么、做什么、要求什么版本。

  3. 3. 补全 keywords、classifiers 和链接

    只写真实的;homepage、文档、更新日志三个网址都填。

  4. 4. 官网放同一句定义

    官网首页和文档站首页用同一句话,页面直出,见 开发者文档怎么写,AI 才读得懂、引得到?。

  5. 5. 不维护就弃用并指向替代品

    npm 用 npm deprecate,PyPI 在 README 顶部写明。

别的包市场的做法也类似,例如 Obsidian 插件的页面字段和 README 的作用,见 Obsidian 插件怎么在 AI 搜索里被找到?。

命令行工具还有 Homebrew 的 formula 页和它的 JSON API,实测见 命令行工具怎么被 AI 推荐?Homebrew、GitHub 和官网文档页实测。

常见问题

AI 爬虫能读 npm 和 PyPI 的包页吗?

2026-11-09 我们的 curl 请求能取到 PyPI 的包页,取不到 npm 的(403,Cloudflare 验证页)。真实 AI 爬虫的情况我们未核实。PyPI 的 robots.txt 没点名任何 AI 爬虫,包页路径没被禁。

AI 推荐 npm 包时会引用什么?

没有官方说明,我们也没有拿到实际引用的证据,未核实。所以要让包页、README、官网说同一句话。

description 和 keywords 写什么?

description 写一句话:是什么、做什么、要求的版本;keywords 写用户会搜的 4 到 8 个词。官方文档说它们帮助人们在 npm search 里发现包。

crates.io 的包页 AI 读得到简介吗?

2026-11-09 我们取到的原始 HTML 只是约 5.4KB 的外壳,没有简介和 README,title 也与包无关。爬虫不执行脚本时可能读不到,所以简介也要写在 GitHub README 和官网上。

弃用的包会怎样?

npm 官方文档写:弃用整个包会让它从 npm 网站搜索结果中移除,并在包页显示弃用信息。对 AI 回答的影响未核实。

出处

kagentx

你的页面,爬虫读得到吗?
让评测告诉你

评测检查爬虫能不能进、正文是否直出,再把买家的问题拿去问 ChatGPT、Perplexity、Claude(开联网搜索),看有没有提到你。基础版 $1,一般 2–3 分钟出结果。