Steam 和 itch.io 的 robots.txt 拦了 AI 爬虫吗?
没有。2026-11-09 我们读了两家的 robots.txt:都只对所有爬虫(User-agent: *)禁了结账、下载、嵌入、站内搜索这类功能页,游戏详情页没有被禁,也没有点名任何 AI 爬虫。
| 站点 | robots.txt 对所有爬虫禁止的路径 | 游戏详情页 | Sitemap |
|---|---|---|---|
| store.steampowered.com | /share/ · /news/externalpost/ · /widget/ · /email/ · /account/ackgift/ · /login/?*guestpasskey= · /join/?*redir= · /account/emailoptout/?*token= · /account/notificationsettings/?*token= | /app/… Allow | robots.txt 里没写 |
| itch.io | /embed/ · /embed-upload/ · /search · /checkout/ · /game/download/ · /bundle/download/ · /register-for-purchase/ · /email-feedback/ | Allow | itch.io/sitemap.xml |
注意 itch.io 禁了 /embed/ 和 /embed-upload/:网页小游戏的嵌入播放页不会被按 robots.txt 守规矩的爬虫读取,所以游戏页上的文字说明就是爬虫能读到的全部。
Steam 游戏页里,AI 爬虫读得到什么?
读得到的比较多。我们打开了一个 Steam 游戏页(Hollow Knight):HTML 约 156 KB,每个游戏有自己的 title 和 og:title、一段 og:description 简介、封面图,价格和评分以 itemprop 微数据写在页面里,游戏简介和详情文字直接在 HTML 里,没有 JSON-LD。我们用 OAI-SearchBot 和 ClaudeBot 的 User-Agent 字符串请求都得到 HTTP 200;这是模拟请求,不是真实爬虫取到的。
| 我们查到的 | 结果(2026-11-09) |
|---|---|
| title 和 og:title | Hollow Knight on Steam |
| 简介 | og:description 是游戏自己的简介;详情文字也在 HTML 里 |
| 价格和评分 | itemprop: offers, price, priceCurrency, aggregateRating, ratingValue, reviewCount |
| 结构化数据 | 没有 JSON-LD |
| AI 是否引用这些页面 | 未核实 |
所以 Steam 页上要认真写的是简介:开头一两句说清玩法、类型、平台、语言。这是 AI 和玩家都先读到的部分。
itch.io 的游戏页 HTML 我们没读到:用模拟的爬虫 User-Agent 请求,返回 403 或 429,看到后就停了,没有再试。它的标题、描述和结构化数据,未核实。
游戏官网该放什么,AI 才引用得了?
官网是你唯一能完全控制、能放结构化数据的页面。商店页的版式你改不了,官网要补上商店没说清的东西,并且和商店简介保持一致。
| 内容 | 怎么写 | 为什么 |
|---|---|---|
| 第一段 | 一句话定义:类型、玩法核心、平台、发售日期。例:“Example Quest 是一款解谜平台游戏,支持 PC 和浏览器,2026 年 10 月发售。” | AI 回答“有什么 X 类型的游戏”时需要的就是这一句 |
| 商店链接和价格 | Steam、itch.io 等链接写成文字链接,价格写数字和币种 | 价格只放在图片里,爬虫读不到 |
| 系统要求和支持语言 | 用表格列出最低配置、操作系统、支持的语言、手柄支持 | 这是玩家常问、商店页字段又不一定写全的信息 |
| 玩法说明和操作键位 | 写成文字和表格,不要只放在预告片里 | 视频里的内容爬虫读不到 |
| 新闻稿资料页 | 游戏简介、发售日期、开发者名字、联系方式、截图下载、预告片链接 | 媒体写评测和推荐文章时会引用;这些文章又是 AI 的来源之一 |
| 开发日志 | 每次更新写日期和改了什么 | 让页面有明确的更新时间 |
{
"@context": "https://schema.org",
"@type": "VideoGame",
"name": "Example Quest",
"description": "Same sentence as the first paragraph of this page.",
"genre": "Puzzle platformer",
"gamePlatform": ["PC", "Web browser"],
"applicationCategory": "Game",
"operatingSystem": "Windows, macOS, Linux",
"datePublished": "2026-10-01",
"url": "https://example.com/example-quest/",
"offers": { "@type": "Offer", "price": "9.99", "priceCurrency": "USD", "url": "https://store.steampowered.com/app/APP_ID/" }
}
上面是 schema.org 的 VideoGame 类型示例,网址和名字是占位。结构化数据的写法和限制见 结构化数据对 AI 搜索有用吗?;对比类页面见 对比页怎么写。
网页小游戏(HTML5、浏览器游戏)要补什么?
游戏本体通常是 canvas 或 WebGL,爬虫读不到里面的任何文字,所以要在游戏周围补一页能读的说明。是否执行脚本见 AI 爬虫会执行 JavaScript 吗?。
1. 游戏页上方或下方写一段文字
玩法、目标、操作方式、预计一局多长时间、支持的设备。
2. 把游戏放在自己的域名下
只放在第三方平台的嵌入页里,爬虫按 robots.txt 读不到嵌入页(例如 itch.io 禁了 /embed/)。自己的域名上有文字说明,再链接到平台页。
3. 写一页“怎么玩”和一页更新记录
每页一个问题,开头直接回答。
4. 标题唯一
每个游戏页有自己的 title 和描述,不要全站用同一个。
做完后怎么检查?
| 项目 | 怎么查 |
|---|---|
| 官网没有拦住 AI 爬虫 | 用 AI 爬虫检查工具;规则见 robots.txt 指南 |
| 正文直出 | curl 官网首页,搜一句正文 |
| 商店简介和官网首段意思一致 | 两边各读一遍 |
| 一个月后问 AI | 问“有什么 X 类型的独立游戏”,看有没有提到你、引用了哪些网址 |
工具见 AI 爬虫检查,规则见 AI 爬虫的 robots.txt 怎么写?。
游戏的外部声音也影响推荐:预告片见 YouTube 视频会出现在 AI 回答里吗?,玩家讨论见 Reddit 为什么常被 AI 引用?,媒体评测见 评测站对 AI 推荐有用吗?。手机游戏的商店页问题见 App 怎么让 ChatGPT 推荐?。
做的是 Unity 资源或工具的话,Asset Store 的 robots.txt、sitemap、资源页实测和官方 Submission Guidelines 见 Unity Asset Store 上的资源怎么被 AI 搜索找到?资源页实测与官方规定。
做的是 Minecraft 模组、资源包或服务器插件的话,Modrinth 和 CurseForge 的实测和官方要求见 Minecraft 模组怎么被 AI 搜索找到?。
常见问题
Steam 页面会被 ChatGPT 引用吗?
我们没有找到官方说明,也没有拿到实际引用的证据,未核实。能确认的是:Steam 的 robots.txt 没有拦游戏页,页面 HTML 里有游戏的标题、简介、价格和评分(2026-11-09 实测)。
itch.io 的游戏页会被 AI 读到吗?
itch.io 的 robots.txt 没有禁游戏页,但我们用模拟的爬虫请求游戏页得到 403 或 429,没有读到页面内容,所以未核实。
没有官网,只有 Steam 或 itch.io 页面,够吗?
可以先从商店简介写好开始,但官网是唯一能放结构化数据、对比页和新闻稿资料的地方。一个单页网站就够:定义、平台、价格、系统要求、商店链接、联系方式。
网页小游戏需要写文字说明吗?
需要。游戏本体是 canvas 或 WebGL,爬虫读不到里面的文字。在游戏周围写玩法、操作和更新记录。
结构化数据用什么类型?
schema.org 有 VideoGame 类型,可以写类型、平台、操作系统、发售日期和价格。字段要和页面正文一致。哪些 AI 会读取它,官方没有说明。
出处
- Steam · store.steampowered.com/robots.txt (2026-11-09 读取)
- itch.io · itch.io/robots.txt (2026-11-09 读取)
- Steam · 示例游戏页(用来查 HTML 里有什么) (2026-11-09 读取)
- schema.org · VideoGame (查看于 2026-11-09)
- kagentx 评测:案例页的数据,日期写在每个例子里。