这几个平台的 robots.txt 对 AI 爬虫怎么写?
差别很大,而且都是平台定的,你改不了。2026-11-09 我们读了四个平台的 robots.txt:Gumroad 和 Lemon Squeezy 几乎不限制,Payhip 只禁结账、下载这类路径,Ko-fi 对 GPTBot、ClaudeBot 等训练类爬虫明确 Disallow。四个都没有点名 OAI-SearchBot、ChatGPT-User 或 PerplexityBot。
| 平台 | robots.txt(2026-11-09) | 能说明什么 |
|---|---|---|
| gumroad.com | User-agent * 只禁 /purchases/;约 374 行 Sitemap;没有点名 AI 爬虫 | 产品页没被禁止 |
| lemonsqueezy.com | 主站只禁 /backups/;商店子域名的 robots.txt 返回 404(没有规则) | 主站规则宽松;商家的店面页未核实(见下) |
| payhip.com | 禁 /d/、/e/、/s/、/download/、/buy、/order、/checkout、/review 等;有 Sitemap 索引;没有点名 AI 爬虫 | 结账和下载页不可抓,商店和产品页没被禁 |
| ko-fi.com | Content-Signal ai-train=no;对 GPTBot、ClaudeBot、anthropic-ai、CCBot、Google-Extended 等 Disallow /;没有点名 OAI-SearchBot、PerplexityBot | 训练类爬虫被挡;搜索类爬虫规则上不受限 |
规则不等于实际抓得到:Payhip 和 Ko-fi 的首页和商店页,用 curl 都返回 HTTP 403 的验证页,页面内容未核实(连不上)。
平台上的产品页,AI 读得到吗?
我们只拿到了 Gumroad 的样本。Gumroad 产品页没被禁止,有 Product 结构化数据,但产品描述全文不在可见的 HTML 标记里。Lemon Squeezy、Payhip、Ko-fi 的产品页我们没有拿到,未核实。
| 我们查到的(Gumroad,2026-11-09) | 结果 | 能说明什么 |
|---|---|---|
| title | 产品页只有产品名(CodegridPRO);商店页是商店名 | title 里没有“是什么”的说明,产品名要自带含义 |
| meta description | 产品描述的前约 150 个字符加省略号 | 描述的第一段就是对外的摘要 |
| 结构化数据 | 有 Product:name、description、brand、offers、aggregateRating | 价格和评分以结构化数据给出;它的 description 与 meta description 不是同一段文字 |
| canonical | 指向这个产品在 Gumroad 子域名上的网址本身 | 平台页的 canonical 指向平台自己,不会指向你的官网 |
| 页面正文 | 可见 HTML 里没有 h1 和正文段落;描述全文在内嵌 JSON(data-page 属性)里 | AI 爬虫是否解析这部分,未核实 |
Lemon Squeezy 的店面默认是关闭的(官方帮助文档,2026-11-09 查看);你可以开启,也可以设成自定义跳转,访问店面地址时转到你自己的网站。自定义域名会用在产品分享网址和结账网址里。所以在 Lemon Squeezy 上,产品页放在哪个域名,由你决定。
平台产品页和自己的官网,哪个该是主页面?
建议以自己的官网为主页面,平台页只负责结账。理由是:平台页的 title、标记、robots.txt 和 canonical 你都改不了,而且 canonical 指向平台自己;官网页你全能控制。这是我们的建议,不是平台或搜索引擎的规定。
| 位置 | 放什么 | 为什么 |
|---|---|---|
| 官网产品页 | 定义、适合谁、包含什么、价格、更新日期、常见问题、对比;购买按钮链到平台结账 | 你能控制 title、结构化数据和 canonical |
| 平台产品页 | 同样的价格和内含内容;第一段与官网同义;链回官网 | 承接购买;描述和价格不能和官网矛盾 |
| 品牌名 | 两边用同一个产品名 | AI 靠名字把两处页面认成同一个产品 |
平台页和官网页的描述各自独立存在,AI 可能读到任何一边,所以价格、内含内容、版本号两边要同时更新。canonical 的通用写法见 canonical 和重复内容:多语言站怎么配,才不被当成重复页?。
产品描述的第一段怎么写?
第一段当作一个能被直接引用的答案:产品是什么、给谁、包含什么、怎么交付。因为 Gumroad 的 meta description 取的就是描述开头约 150 个字符,所以最重要的信息必须在这之内。
1. 第一句写定义
“这是一套 120 页的 Notion 财务模板,给自由职业者管理发票和税务。”不写“强大”“终极”。
2. 紧接一句写包含什么
文件格式、页数或数量、更新方式,例如“PDF 加 Notion 模板链接,终身更新”。
3. 再写适合谁和不适合谁
一句话说明使用前提,如需要 Notion 账号。
4. 价格和版本写成文字
价格、许可范围(个人或商用)、最后更新日期,不要只放在图片里。
5. 两边同义
官网产品页和平台产品页的第一段含义一致,措辞可以不同。
示例里的名字和数字都是占位。
对比页和“替代品”页该放在哪?
放在自己的官网,不放在平台页里。平台页的版式和标记你改不了,也没有放对比表的位置;官网可以放一张写明出处和日期的对比表,回答“X 和 Y 有什么区别”。写法见 「X vs Y」对比页怎么写才会被 AI 引用?,“替代品”页见 “X 的替代品”页怎么写,AI 才会引用?。
这类页面平台自己也在做:Lemon Squeezy 的网站地图里就有 /gumroad-alternative 和 /paddle-alternative 两个页面(我们只读了地址,没有分析内容)。
官网还需要一页说明你是谁,见 About 页怎么写,AI 才能认对你的公司和产品?;如果同时卖实物商品,见 外贸独立站怎么让 ChatGPT 推荐你的产品?;先用 AI 爬虫检查 确认官网没拦 AI 爬虫,规则见 AI 爬虫的 robots.txt 怎么写?。
卖 Notion 模板、Figma 社区文件或 Framer 模板的话,三个市场页的 robots.txt 和原始 HTML 实测见 卖 Notion 模板、Figma 社区文件、Framer 模板,怎么被 AI 推荐?。
贴图、emoji 包这类数字产品在搜索和 AI 回答里的真实数据,见 贴图和 emoji 包怎么在搜索和 AI 回答里被找到?。
做的是 Blender 插件的话,Extensions 平台的 robots.txt、详情页 HTML 实测和官方上架要求见 Blender 插件怎么被 AI 搜索找到?Extensions 平台实测与官方上架要求。
做的是 Unity 资源或工具的话,Asset Store 的 robots.txt、sitemap、资源页实测和官方 Submission Guidelines 见 Unity Asset Store 上的资源怎么被 AI 搜索找到?资源页实测与官方规定。
常见问题
Gumroad 的产品页会被 ChatGPT 引用吗?
我们没有找到官方说明,也没有拿到实际引用的证据,未核实。能确认的是:robots.txt 只禁 /purchases/,产品页有 Product 结构化数据(2026-11-09 实测,样本是一个产品页)。
平台页和官网,canonical 应该指向哪里?
平台页的 canonical 由平台生成,我们看到的 Gumroad 产品页指向它自己,你改不了。所以建议以官网为主页面,平台页保持与官网一致的价格和描述,并链回官网。这是我们的建议,不是平台的规定。
产品描述的第一段写多长?
至少让最重要的信息落在前 150 个字符内:Gumroad 产品页的 meta description 取的就是描述开头约 150 个字符加省略号(2026-11-09 实测)。其他平台的截取长度我们没有核实。
Ko-fi 挡了 GPTBot,是不是就不会被 ChatGPT 推荐了?
不一定,但我们没有证据说明。Ko-fi 的 robots.txt 对 GPTBot、ClaudeBot 等训练类爬虫 Disallow,没有点名 OAI-SearchBot 和 ChatGPT-User。规则只管爬虫能不能抓,AI 回答是否引用该页,官方没有说明,未核实。
对比页和“替代品”页能放在 Gumroad 或 Lemon Squeezy 上吗?
不建议。平台页的版式和标记不由你控制,放对比表的位置也有限;放在自己的官网,才能写明出处和更新日期。
出处
- Gumroad · gumroad.com/robots.txt (2026-11-09 读取)
- Gumroad · Example product page (checked for what the HTML contains) (2026-11-09 读取)
- Lemon Squeezy · lemonsqueezy.com/robots.txt (2026-11-09 读取)
- Lemon Squeezy · Enabling Store (查看于 2026-11-09)
- Lemon Squeezy · Adding a Custom Domain (查看于 2026-11-09)
- Payhip · payhip.com/robots.txt (2026-11-09 读取)
- Ko-fi · ko-fi.com/robots.txt (2026-11-09 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。