Linux 應用程式的幾個管道,對 AI 爬蟲放行嗎?
2026-11-11 我們逐個讀了 Linux 應用程式常見管道的 robots.txt,按七個 User-Agent 判斷,規則是點名的群組優先,沒點名就用 * 群組。這只說明 robots.txt 怎麼寫,不說明這些爬蟲真的來了,也不說明 AI 引用了這些頁面(沒有拿到引用的證據,未核實)。
| 管道 | GPTBot | OAI-SearchBot / ChatGPT-User | ClaudeBot | PerplexityBot | Google-Extended | Bingbot |
|---|---|---|---|---|---|---|
| Flathub(flathub.org) | 封鎖 | 放行 | 放行 | 放行 | 封鎖 | 放行 |
| Snap Store(snapcraft.io,只禁登入和發布者後台) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) |
| AUR(aur.archlinux.org,禁搜尋頁和 pkgbase) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) |
| AppImageHub 目錄站(appimage.github.io,只有 Sitemap) | 放行 | 放行 | 放行 | 放行 | 放行 | 放行 |
| AppImageHub 商店(www.appimagehub.com,連不上) | 未核實 | 未核實 | 未核實 | 未核實 | 未核實 | 未核實 |
| GitHub(倉庫頁和 releases 頁) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) | 放行(只限制部分路徑) |
怎麼讀這張表:Flathub 是唯一點名封鎖訓練類爬蟲(GPTBot、Google-Extended 等)的,搜尋類爬蟲放行;Snap Store 和 AUR 沒有點名任何 AI 爬蟲,只禁登入頁和搜尋頁這類沒有內容的網址;GitHub 對 AI 爬蟲加了 Crawl-delay: 1。robots.txt 的寫法見 robots.txt 怎麼寫,AI 爬蟲才進得來?。
結論:這幾個管道都沒有擋住 AI 搜尋爬蟲去讀應用程式詳情頁,所以問題不在「進不進得來」,而在「頁面上有什麼」。下面逐個看頁面上能讀到的欄位。
Flathub 應用程式頁的內容,來自 AppStream metainfo 的哪些欄位?
Flathub 頁面是用你提交的 AppStream metainfo(一個 XML 檔案)產生的。我們取了 GIMP 的 Flathub 頁(2026-11-11,HTTP 200,約 223 KB)和它的公開介面,對照欄位如下;欄位要求來自 Flathub 文件 metainfo-guidelines(2026-11-11 查看)。
| metainfo 欄位 | Flathub 頁面上看到的 | 官方要求和寫法 |
|---|---|---|
| name | 頁面標題:Install(名稱)on Linux | Flathub | 不得侵犯商標 |
| summary | meta description 和標題下的副標題 | 一句話,說清做什麼 |
| description | 頁面正文,直接寫在 HTML 裡 | 必須有;只支援 p、ol、ul、li、em、code;第一段回答它是什麼、給誰用 |
| screenshots | 截圖和說明文字 | 圖形應用程式必須有一張以上;console 應用程式要出現在站內搜尋結果也必須提供截圖 |
| releases | 「Changes in version …」和時間 | 必須有 releases 標籤,說明的格式同 description |
| url | Links 區:官網、說明、問題回報、原始碼、貢獻 | 至少要有 homepage 類型 |
| developer | 標題下的開發者名稱 | 必須有,帶 reverse DNS 的 id |
| keywords、categories | Tags 區和公開介面裡的 keywords、categories | 寫使用者會搜的詞 |
<component type="desktop-application">
<id>com.example.ExampleApp</id>
<name>ExampleApp</name>
<summary>One sentence: what it does and who it is for</summary>
<developer id="com.example"><name>Example Co</name></developer>
<description>
<p>First paragraph answers: what is it, for whom, what does it replace.</p>
</description>
<url type="homepage">https://example.com/</url>
<url type="bugtracker">https://github.com/example/app/issues</url>
<screenshots>
<screenshot type="default"><image>https://example.com/shot1.png</image><caption>Main window</caption></screenshot>
</screenshots>
<releases>
<release version="2.3.0" date="2026-11-01"><description><p>What changed.</p></description></release>
</releases>
</component>
頁面裡沒有 SoftwareApplication 結構化資料(只有 Organization、WebSite、BreadcrumbList):爬蟲讀到的是 title、meta description 和直出的正文。所以 summary 和 description 的第一段就是別處引用你的那幾句話,要像官網第一段一樣把應用程式說清楚。
一個提醒:Flathub 的 requirements 頁寫著主控台軟體一般不接受(Flatpak 或 Flathub 相關工具除外),而 metainfo 指南裡又說到主控台應用程式的截圖。是否能上架以 Flathub 當時的規則為準,我們不下判斷。
Snap Store、AUR 和 AppImageHub 的頁面各讀得到什麼?
三個管道頁面的正文都是直出的,差別在結構化資料和描述從哪來。2026-11-11 各取了一個頁面實測。
| 管道 | title 和 meta description | 結構化資料 | 正文裡能讀到 |
|---|---|---|---|
| Snap Store(snapcraft.io/vlc) | title 是 Install(名稱)on Linux | Snap Store;description 是範本句加 summary | SoftwareApplication:名稱、描述、版本、檔案大小、授權、operatingSystem、發布日期 | 套件名、授權、最近更新、網站、原始碼、問題回報連結、詳細說明 |
| AUR(aur.archlinux.org/packages/yay) | title 是 AUR (en) - 套件名;沒有 meta description | 沒有 | Description 一句話、Upstream URL、Keywords、授權、維護者、票數、熱度、首次提交和最後更新時間、相依套件 |
| AppImageHub(appimage.github.io/Inkscape/) | title 是 名稱 – AppImages;description 是整站通用的一句話,不是應用程式自己的 | 只有 WebPage | 應用程式簡介全文、官網、問題回報、說明連結、AppImage 使用說明 |
AUR 的描述只有一句話,它會同時出現在 AUR 頁面和 pacman 的搜尋結果裡,寫成「做什麼、給誰」的一句話。AppImageHub 的頁面 description 是通用的,應用程式簡介在正文裡,所以簡介的第一段尤其重要。這三個管道的官方欄位文件我們沒有讀,未核實。
README 和專案官網該寫什麼?
所有管道裡,你只能完全控制的是自己的官網和 GitHub 倉庫。GitHub 倉庫頁的 title 是「owner/repo: 倉庫描述」,meta description 是倉庫描述加固定的範本句,README 文字直接寫在 HTML 裡,沒有結構化資料(2026-11-11 取 Jguer/yay 頁面實測)。所以倉庫的 About 描述和 README 第一段是 AI 最容易讀到的兩處,寫法見 GitHub README 怎麼寫,AI 才會引用?;通用的開源專案頁面(授權、貢獻指南)見 開源專案怎麼被 AI 推薦?。
| 位置 | 寫什麼 | 為什麼 |
|---|---|---|
| GitHub 倉庫 About 描述 | 一句話:做什麼、給誰、支援哪些發行版 | 同時是 title 和 meta description 的來源 |
| README 第一段 | 同一句話展開:它是什麼、和誰相比、怎麼安裝 | 直接在 HTML 裡,爬蟲不用執行腳本 |
| 官網下載頁 | 各管道的安裝指令(flatpak、snap、AUR、AppImage)、支援的發行版和架構、目前版本 | 各管道的頁面由別人定格式,官網是你能寫全的地方 |
| GitHub releases 和更新日誌頁 | 每個版本改了什麼;日期和版本號與各管道一致 | 管道頁上的版本說明可能不同步,官網保留最新的 |
怎麼一步一步讓 Linux 應用程式更容易被推薦?
1. 先確認自己的官網和倉庫沒有擋住搜尋爬蟲
用 AI 爬蟲檢查 看官網的 robots.txt。
2. 寫好 AppStream metainfo 的 summary 和 description
Flathub 頁面、公開介面和應用程式商店用戶端都讀它。summary 一句話,description 第一段回答「它是什麼、給誰用」,上面的範例可以照著改。
3. 補齊截圖、releases 和 url
每個版本在 releases 裡寫清改了什麼;url 至少有 homepage,最好加 bugtracker。官網的更新日誌頁寫法見 更新日誌頁(changelog)對 AI 搜尋有用嗎?。
4. 其他管道的描述保持同義
Snap 的 summary、AUR 的 Description、AppImageHub 的簡介、倉庫的 About 描述,都用同一句話的不同長度。
5. 官網加 SoftwareApplication 結構化資料
operatingSystem 寫 Linux,寫法見 SaaS 要不要加 SoftwareApplication 結構化資料?。
6. 隔幾週用同一組問題再測
問 ChatGPT、Perplexity「Linux 上有什麼做某某的應用程式」,每個問題問 3 次,記下有沒有提到你。
常見問題
Flathub 的頁面會被 ChatGPT 引用嗎?
我們沒有找到官方說明,也沒有拿到實際引用的證據,未核實。能確認的是:2026-11-11 實測 Flathub 的 robots.txt 對 OAI-SearchBot、ClaudeBot、PerplexityBot 沒有限制,應用程式頁的 summary 和 description 直接寫在 HTML 裡。
Flathub 擋了 GPTBot,ChatGPT 搜尋還能讀到嗎?
按 OpenAI 的說明,GPTBot 是訓練爬蟲,ChatGPT 搜尋用 OAI-SearchBot;2026-11-11 實測 Flathub 的 robots.txt 沒有點名 OAI-SearchBot,走 * 群組,是放行的。
AppStream metainfo 裡最該花時間寫的是哪一段?
summary 和 description 的第一段。Flathub 頁面的 meta description 就是 summary,正文是 description;兩處都是別處引用你時最可能照搬的句子。
AUR 頁面的描述只有一句話,夠嗎?
AUR 的 Description 就是一句話,它會出現在頁面和套件管理員的搜尋結果裡。寫成「做什麼、給誰」,更長的說明放在 GitHub README 和官網。
AppImage 應該去哪裡發布?
我們只核實了 AppImageHub 目錄站的頁面和 robots.txt,它的收錄規則沒有讀,未核實。無論放在哪,都要在官網和 GitHub releases 頁寫清下載方式和支援的發行版。
要同時上 Flathub、Snap 和 AUR 嗎?
管道取決於你的使用者用什麼發行版,不取決於 AI。上多個管道時,各處的名稱、描述、版本號要一致,不一致的地方 AI 回答時可能混用。
Linux 應用程式的官網還需要結構化資料嗎?
建議加。我們取的 Flathub 頁沒有 SoftwareApplication 資料,Snap Store 有,官網加一份可以讓名稱、系統和版本有一處明確的機器可讀來源,寫法見上面的步驟。
出處
- Flathub · flathub.org/robots.txt (2026-11-11 讀取)
- Flathub · Example app page: GIMP, and flathub.org/api/v2/appstream/org.gimp.GIMP (2026-11-11 讀取)
- Flathub · MetaInfo guidelines (查看於 2026-11-11)
- Flathub · Requirements (查看於 2026-11-11)
- Snapcraft · snapcraft.io/robots.txt (2026-11-11 讀取)
- Snapcraft · Example snap page (checked for what the HTML contains) (2026-11-11 讀取)
- AUR · aur.archlinux.org/robots.txt (2026-11-11 讀取)
- AUR · Example package page (checked for what the HTML contains) (2026-11-11 讀取)
- AppImageHub · Example app page; appimage.github.io/robots.txt (www.appimagehub.com was unreachable, not verified) (2026-11-11 讀取)
- GitHub · github.com/robots.txt and an example repository page (2026-11-11 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。