目录页会被 AI 引用吗?
官方没有说,我们也没有拿到实际引用的证据,所以不能答“会”。能查清的是前提:目录页能不能被爬虫读到。2026-11-09 我们用 curl 取了几类目录的页面和 robots.txt(普通 Mozilla/5.0 标识,真实爬虫看到的可能不同):
| 目录 | 无登录取页面 | 原始 HTML 里有名称和描述吗 | GPTBot | ClaudeBot | PerplexityBot |
|---|---|---|---|---|---|
| GPT Store(chatgpt.com/gpts 和 /g/…) | 200 | 没有:<title> 只是“ChatGPT”,没有 meta description 和 canonical,GPT 名字搜不到 | Allow | Allow | Disallow(点名整站禁止) |
| Poe 机器人页(poe.com/GPT-4o) | 200(首页有一次 403 验证页) | 有:<title> 和 meta description 都直出 | Allow(只禁 /p/*) | Disallow(* 组整站禁止) | Disallow(* 组整站禁止) |
| kagentx 产品库(kagentx.com/p/…) | 200 | 有:title、meta description、canonical,产品页还有 SoftwareApplication JSON-LD | Allow | Allow | Allow |
读法:Allow 和 Disallow 是按 robots.txt 的文字推出的,不是真实爬虫的行为。GPT Store 的两个地址我们没有核实是不是仍在线的 GPT,能确认的只有“无登录取到的是同一个应用外壳”;真实爬虫看到的页面可能不一样,未核实。robots.txt 的写法见 AI 爬虫的 robots.txt 怎么写?,脚本渲染的影响见 AI 爬虫会执行 JavaScript 吗?。
这说明两件事:一是不同目录差别很大,不是所有目录页都读得到;二是在自己的网站之外挂一个页面,不等于被 AI 看到了。所以要先查再提交。
该提交哪几类目录?
不用一次全做。按下面三类,每类先挑页面读得到的:
| 类别 | 例子 | 适合谁 | 提交前先查 |
|---|---|---|---|
| 平台自带的商店 | GPT Store、Poe | 你本来就在这个平台上做了 GPT 或机器人 | 页面标题和描述在不在原始 HTML 里,robots.txt 怎么写 |
| AI 工具或 Agent 目录 | kagentx.com/agents/ | 做 AI 工具、Agent 的独立开发者 | 条目页有没有独立网址、名称和描述直出、是否链回你的官网 |
| 评分和榜单站 | pagent.kagentx.com | 产品属于它评测的品类 | 收录条件和评分方法写没写清楚,能不能核对每条结果 |
评分站、榜单文章和评测网站另有做法,见 怎么进「最佳 X 工具」榜单文章? 和 G2、Capterra、Trustpilot 的评论,能让 AI 更常推荐你吗?;AI 工具类产品的整体做法见 AI 工具类产品怎么被 ChatGPT 推荐?。Pagent(可以发消息使用的个人 AI 助手评分站) 是我们自己做的一个评分站,英文站,这里只当例子。
1. 先查页面读不读得到
对目录里别人的条目页跑这几行:
# Can a crawler read the name and description without logging in? curl -s https://example-directory.com/entry/your-product | grep -io '<title>[^<]*</title>' curl -s https://example-directory.com/entry/your-product | grep -io '<meta name="description"[^>]*>' # What does the directory's robots.txt say about the AI crawlers? curl -s https://example-directory.com/robots.txt | grep -i -A3 -E "gptbot|claudebot|perplexitybot|user-agent: \*"
2. 条目页必须有指向你官网的链接
链接最好是正文里的普通链接。这样 AI 看到目录条目时,能找到你的原始来源。
3. 只提交与你产品相符的品类
品类选错,条目会出现在无关的列表里,对买家没用。
4. 记一张“在哪里提交过”的表
写目录名、条目网址、提交日期、当时用的描述。后面查一致性、查有没有收录时要用。
目录里的描述怎么和自己官网保持一致?
做法是先写一份统一文案,所有目录条目和官网共用。统一的是名称、一句话描述、品类、网址、价格口径和更新日期:
Name: Example Slides One line: Turns a PDF into an editable slide deck, for students and consultants. Category: Presentation tools URL: https://example.com/ Pricing: Plans listed at https://example.com/pricing/ (checked 2026-11) Updated: 2026-11-09 Same words used on: homepage, About page, every directory entry
三条规则:
1. 官网为准,目录照抄
官网首页和 About 页怎么写,AI 才能认对你的公司和产品? 里用同一句话。目录条目复制这句话,不要为每个目录改写。
2. 价格只写一个口径,并链到价格页
目录里不展开价格细节,写“价格见官网价格页”并给网址。价格改了,只需要改一处。
3. 每次改产品,回头查一遍目录
对照上面那张表,逐个目录看描述是否还对。过时的描述会被 AI 当作你现在的说法。
kagentx 自己的产品库是什么情况?
这是我们自己的一个目录,下面只写 2026-11-09 查到的事实,不推断 AI 是否引用它:
| 项目 | 结果 |
|---|---|
| 产品库里的产品条目(web/data/products.json) | 1,155 |
| 其中有完整分析(判断、价值链、竞争、风险四节)、允许收录的产品页:线上 /agents/ 列表和 sitemap.xml 里各有多少 | 141 |
| 其余产品页 | 页面能打开,但带 noindex、不进 sitemap(构建脚本 web/scripts/build-agents-seo.mjs 的规则,2026-11-09 读代码) |
| 产品页 /p/lindy(有完整分析,可收录) | 无登录 200;服务端直出标题、描述、canonical,没有 robots meta;还有 SoftwareApplication 结构化数据 |
| 产品页 /p/research-stammer(没有完整分析) | 无登录 200;服务端直出标题、描述、canonical,但带 noindex, follow(robots meta),不收录(2026-11-10 再次核对) |
| robots.txt | 对所有爬虫 Allow: /,只禁 /admin.html、/candidates.html、/api/ |
| Google Search Console | 近 28 天 /p/research-* 的几个产品页有曝光(运营数据,这里不写具体数字) |
所以能说的是:kagentx 产品库的页面在 Google 有曝光,页面无登录读得到。这些页面有没有被 ChatGPT、Perplexity、Claude 引用过,我们没有查,未核实。kagentx.com/agents/ 是列表页。
提交之后怎么测?
1. 一周内:目录页有没有被收录
在搜索引擎里搜“你的产品名 + 目录名”,看条目页出现没有。
2. 写下 5 个买家会问的问题
不带你的品牌名,按买家的说法写,每个问 3 次并开联网搜索。
3. 记录回答和来源
有没有提到你,来源栏里有没有目录页。方法和表格见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
4. 看自己网站的来源数据
GA4 或服务器日志里,看有没有从目录页来的访问。
ChatGPT 里由 MCP 服务器和技能组成的应用(官方文档现在叫 plugin)怎么被找到、怎么提交审核,见 ChatGPT 里的应用(Apps SDK、插件目录)怎么被用户和 AI 找到?。
常见问题
GPT Store 的页面能被搜索引擎和 AI 读到吗?
2026-11-09 我们用 curl 取了 chatgpt.com/gpts 和两个 GPT 地址:状态码 200,但原始 HTML 的标题只是“ChatGPT”,里面找不到 GPT 的名字和描述。robots.txt 对 GPTBot、ClaudeBot 是放行的,对 PerplexityBot 是整站禁止。真实爬虫看到什么,我们未核实。
AI 回答会引用 AI Agent 目录的页面吗?
官方没有说明,我们也没有拿到实际引用的证据,未核实。能确认的是前提条件:目录页要能无登录读到,名称和描述要在原始 HTML 里,robots.txt 不能拦住爬虫。
该先提交哪一类目录?
先挑页面读得到的:用上面的 curl 看标题和描述在不在原始 HTML 里,再看 robots.txt。读不到的目录,页面再好也没法被爬虫看到。
目录里的描述要和官网完全一样吗?
名称、一句话描述、品类、网址和价格口径保持一致,其他部分可以不同。不一致时 AI 看到的是几个互相矛盾的说法,不知道该信哪个。
提交之后怎么知道有没有用?
先看目录页有没有出现在搜索结果里,再用买家的问题问 AI,看回答和来源里有没有你;方法见“怎么衡量 AI 可见度”。一次的结果不能当结论,同一个问题要多问几次。
出处
- OpenAI · chatgpt.com/robots.txt (2026-11-09 读取)
- OpenAI · chatgpt.com/gpts (2026-11-09 读取)
- Poe · poe.com/robots.txt (2026-11-09 读取)
- Poe · poe.com/GPT-4o (2026-11-09 读取)
- kagentx · kagentx.com/agents/ (2026-11-09 读取)
- kagentx · kagentx.com/sitemap.xml (2026-11-09 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。