Linux 应用的几个渠道,对 AI 爬虫放行吗?
2026-11-11 我们逐个读了 Linux 应用常见渠道的 robots.txt,按七个 User-Agent 判断,规则是点名的组优先,没点名就用 * 组。这只说明 robots.txt 怎么写,不说明这些爬虫真的来了,也不说明 AI 引用了这些页面(没有拿到引用的证据,未核实)。
| 渠道 | GPTBot | OAI-SearchBot / ChatGPT-User | ClaudeBot | PerplexityBot | Google-Extended | Bingbot |
|---|---|---|---|---|---|---|
| Flathub(flathub.org) | 拦截 | 放行 | 放行 | 放行 | 拦截 | 放行 |
| Snap Store(snapcraft.io,只禁登录和发布者后台) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) |
| AUR(aur.archlinux.org,禁搜索页和 pkgbase) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) |
| AppImageHub 目录站(appimage.github.io,只有 Sitemap) | 放行 | 放行 | 放行 | 放行 | 放行 | 放行 |
| AppImageHub 商店(www.appimagehub.com,连不上) | 未核实 | 未核实 | 未核实 | 未核实 | 未核实 | 未核实 |
| GitHub(仓库页和 releases 页) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) | 放行(只限制部分路径) |
怎么读这张表:Flathub 是唯一点名拦截训练类爬虫(GPTBot、Google-Extended 等)的,搜索类爬虫放行;Snap Store 和 AUR 没有点名任何 AI 爬虫,只禁登录页和搜索页这类没有内容的地址;GitHub 对 AI 爬虫加了 Crawl-delay: 1。robots.txt 的写法见 robots.txt 怎么写,AI 爬虫才进得来?。
结论:这几个渠道都没有拦住 AI 搜索爬虫去读应用详情页,所以问题不在“进不进得来”,而在“页面上有什么”。下面逐个看页面上能读到的字段。
Flathub 应用页的内容,来自 AppStream metainfo 的哪些字段?
Flathub 页面是用你提交的 AppStream metainfo(一个 XML 文件)生成的。我们取了 GIMP 的 Flathub 页(2026-11-11,HTTP 200,约 223 KB)和它的公开接口,对照字段如下;字段要求来自 Flathub 文档 metainfo-guidelines(2026-11-11 查看)。
| metainfo 字段 | Flathub 页面上看到的 | 官方要求和写法 |
|---|---|---|
| name | 页面标题:Install(名称)on Linux | Flathub | 不得侵犯商标 |
| summary | meta description 和标题下的副标题 | 一句话,说清做什么 |
| description | 页面正文,直接写在 HTML 里 | 必须有;只支持 p、ol、ul、li、em、code;第一段回答它是什么、给谁用 |
| screenshots | 截图和说明文字 | 图形应用必须有一张以上;console 应用要出现在站内搜索结果也必须提供截图 |
| releases | “Changes in version …”和时间 | 必须有 releases 标签,说明的格式同 description |
| url | Links 区:官网、帮助、问题反馈、源码、贡献 | 至少要有 homepage 类型 |
| developer | 标题下的开发者名 | 必须有,带 reverse DNS 的 id |
| keywords、categories | Tags 区和公开接口里的 keywords、categories | 写用户会搜的词 |
<component type="desktop-application">
<id>com.example.ExampleApp</id>
<name>ExampleApp</name>
<summary>One sentence: what it does and who it is for</summary>
<developer id="com.example"><name>Example Co</name></developer>
<description>
<p>First paragraph answers: what is it, for whom, what does it replace.</p>
</description>
<url type="homepage">https://example.com/</url>
<url type="bugtracker">https://github.com/example/app/issues</url>
<screenshots>
<screenshot type="default"><image>https://example.com/shot1.png</image><caption>Main window</caption></screenshot>
</screenshots>
<releases>
<release version="2.3.0" date="2026-11-01"><description><p>What changed.</p></description></release>
</releases>
</component>
页面里没有 SoftwareApplication 结构化数据(只有 Organization、WebSite、BreadcrumbList):爬虫读到的是 title、meta description 和直出的正文。所以 summary 和 description 的第一段就是别处引用你的那几句话,要像官网第一段一样把应用说清楚。
一个提醒:Flathub 的 requirements 页写着控制台软件一般不接受(Flatpak 或 Flathub 相关工具除外),而 metainfo 指南里又说到控制台应用的截图。是否能上架以 Flathub 当时的规则为准,我们不下判断。
Snap Store、AUR 和 AppImageHub 的页面各读得到什么?
三个渠道页面的正文都是直出的,差别在结构化数据和描述从哪来。2026-11-11 各取了一个页面实测。
| 渠道 | title 和 meta description | 结构化数据 | 正文里能读到 |
|---|---|---|---|
| Snap Store(snapcraft.io/vlc) | title 是 Install(名称)on Linux | Snap Store;description 是模板句加 summary | SoftwareApplication:名称、描述、版本、文件大小、许可证、operatingSystem、发布日期 | 包名、许可证、最近更新、网站、源码、问题反馈链接、详细说明 |
| AUR(aur.archlinux.org/packages/yay) | title 是 AUR (en) - 包名;没有 meta description | 没有 | Description 一句话、Upstream URL、Keywords、许可证、维护者、票数、热度、首次提交和最后更新时间、依赖 |
| AppImageHub(appimage.github.io/Inkscape/) | title 是 名称 – AppImages;description 是整站通用的一句话,不是应用自己的 | 只有 WebPage | 应用简介全文、官网、问题反馈、帮助链接、AppImage 使用说明 |
AUR 的描述只有一句话,它会同时出现在 AUR 页面和 pacman 的搜索结果里,写成“做什么、给谁”的一句话。AppImageHub 的页面 description 是通用的,应用简介在正文里,所以简介的第一段尤其重要。这三个渠道的官方字段文档我们没有读,未核实。
README 和项目官网该写什么?
所有渠道里,你只能完全控制的是自己的官网和 GitHub 仓库。GitHub 仓库页的 title 是“owner/repo: 仓库描述”,meta description 是仓库描述加固定的模板句,README 文字直接写在 HTML 里,没有结构化数据(2026-11-11 取 Jguer/yay 页面实测)。所以仓库的 About 描述和 README 第一段是 AI 最容易读到的两处,写法见 GitHub README 怎么写,AI 才会引用?;通用的开源项目页面(许可证、贡献指南)见 开源项目怎么被 AI 推荐?。
| 位置 | 写什么 | 为什么 |
|---|---|---|
| GitHub 仓库 About 描述 | 一句话:做什么、给谁、支持哪些发行版 | 同时是 title 和 meta description 的来源 |
| README 第一段 | 同一句话展开:它是什么、和谁相比、怎么装 | 直接在 HTML 里,爬虫不用执行脚本 |
| 官网下载页 | 各渠道的安装命令(flatpak、snap、AUR、AppImage)、支持的发行版和架构、当前版本 | 各渠道的页面由别人定格式,官网是你能写全的地方 |
| GitHub releases 和更新日志页 | 每个版本改了什么;日期和版本号与各渠道一致 | 渠道页上的版本说明可能不同步,官网保留最新的 |
怎么一步一步让 Linux 应用更容易被推荐?
1. 先确认自己的官网和仓库没有拦住搜索爬虫
用 AI 爬虫检查 看官网的 robots.txt。
2. 写好 AppStream metainfo 的 summary 和 description
Flathub 页面、公开接口和应用商店客户端都读它。summary 一句话,description 第一段回答“它是什么、给谁用”,上面的示例可以照着改。
3. 补齐截图、releases 和 url
每个版本在 releases 里写清改了什么;url 至少有 homepage,最好加 bugtracker。官网的更新日志页写法见 更新日志页(changelog)对 AI 搜索有用吗?。
4. 其他渠道的描述保持同义
Snap 的 summary、AUR 的 Description、AppImageHub 的简介、仓库的 About 描述,都用同一句话的不同长度。
5. 官网加 SoftwareApplication 结构化数据
operatingSystem 写 Linux,写法见 SaaS 要不要加 SoftwareApplication 结构化数据?。
6. 隔几周用同一组问题再测
问 ChatGPT、Perplexity“Linux 上有什么做某某的应用”,每个问题问 3 次,记下有没有提到你。
常见问题
Flathub 的页面会被 ChatGPT 引用吗?
我们没有找到官方说明,也没有拿到实际引用的证据,未核实。能确认的是:2026-11-11 实测 Flathub 的 robots.txt 对 OAI-SearchBot、ClaudeBot、PerplexityBot 没有限制,应用页的 summary 和 description 直接写在 HTML 里。
Flathub 拦了 GPTBot,ChatGPT 搜索还能读到吗?
按 OpenAI 的说明,GPTBot 是训练爬虫,ChatGPT 搜索用 OAI-SearchBot;2026-11-11 实测 Flathub 的 robots.txt 没有点名 OAI-SearchBot,走 * 组,是放行的。
AppStream metainfo 里最该花时间写的是哪一段?
summary 和 description 的第一段。Flathub 页面的 meta description 就是 summary,正文是 description;两处都是别处引用你时最可能照搬的句子。
AUR 页面的描述只有一句话,够吗?
AUR 的 Description 就是一句话,它会出现在页面和包管理器的搜索结果里。写成“做什么、给谁”,更长的说明放在 GitHub README 和官网。
AppImage 应该去哪里发布?
我们只核实了 AppImageHub 目录站的页面和 robots.txt,它的收录规则没有读,未核实。无论放在哪,都要在官网和 GitHub releases 页写清下载方式和支持的发行版。
要同时上 Flathub、Snap 和 AUR 吗?
渠道取决于你的用户用什么发行版,不取决于 AI。上多个渠道时,各处的名字、描述、版本号要一致,不一致的地方 AI 回答时可能混用。
Linux 应用的官网还需要结构化数据吗?
建议加。我们取的 Flathub 页没有 SoftwareApplication 数据,Snap Store 有,官网加一份可以让名称、系统和版本有一处明确的机器可读来源,写法见上面的步骤。
出处
- Flathub · flathub.org/robots.txt (2026-11-11 读取)
- Flathub · Example app page: GIMP, and flathub.org/api/v2/appstream/org.gimp.GIMP (2026-11-11 读取)
- Flathub · MetaInfo guidelines (查看于 2026-11-11)
- Flathub · Requirements (查看于 2026-11-11)
- Snapcraft · snapcraft.io/robots.txt (2026-11-11 读取)
- Snapcraft · Example snap page (checked for what the HTML contains) (2026-11-11 读取)
- AUR · aur.archlinux.org/robots.txt (2026-11-11 读取)
- AUR · Example package page (checked for what the HTML contains) (2026-11-11 读取)
- AppImageHub · Example app page; appimage.github.io/robots.txt (www.appimagehub.com was unreachable, not verified) (2026-11-11 读取)
- GitHub · github.com/robots.txt and an example repository page (2026-11-11 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。