AI 爬蟲能讀到 GitHub 上的 README 嗎？
從公開資訊看，能讀到。github.com 的 robots.txt 為 GPTBot、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot 單獨寫了一組規則，沒有禁止儲存庫首頁。但「能讀到」不等於「會引用」：三家 AI 公司的官方文件都沒有說明它們怎麼對待 GitHub 儲存庫頁面，ChatGPT 實際引不引用 README 我們未核實。
| 我們查到的 | 結果（2026-11-06） | 能說明什麼 |
|---|---|---|
| github.com/robots.txt 的 AI 爬蟲組 | 為 GPTBot、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot 單列一組，抓取間隔 1 秒；Bytespider 整站禁止 | 這幾個爬蟲是被明確點名處理的 |
| 這一組禁止的路徑 | /*/raw/、/*/tree/、/*/archive/、/*/blame/、/*/commits/、/gist/、站內搜尋等；沒有禁儲存庫首頁和 /blob/ 路徑 | 儲存庫首頁上的 README 可抓；子目錄列表頁（/tree/）和原文（/raw/）不可抓 |
| 一個儲存庫首頁的 HTML | 用 OAI-SearchBot 的 User-Agent 字串請求，HTTP 200；README 內文直接寫在 HTML 裡；title 和 meta description 來自儲存庫名稱和描述 | 不依賴腳本渲染；這是我們模擬的，不是 OpenAI 爬蟲真實取到的 |
| raw.githubusercontent.com | 沒有 robots.txt（404），README 原文能取到 | 原文網址可讀，但它只是純文字，沒有儲存庫名稱和描述 |
這意味著：儲存庫描述（About 欄的那一句話）和 README 開頭，是最可能被讀到的兩處文字。
GitHub 的 README 放在哪裡，有什麼限制？
GitHub 官方文件（About the repository README file，2026-11-06 核對）寫明：README 可以放在隱藏目錄 .github、儲存庫根目錄或 docs 目錄，三處都有時依這個順序取第一個；超過 500 KiB 的內容會被截斷；連結以目前檔案為基準，所以相對路徑在複製下來的儲存庫裡也能用。長文件官方建議放到 wiki 或文件站。
怎麼寫，README 才容易被 AI 引用？
和別的頁面一樣：先直接回答「這是什麼、給誰用」，再給可以核對的細節。下面是 README 和一般網頁不同的地方：
| 位置 | 寫什麼 | 為什麼 |
|---|---|---|
| 儲存庫描述（About 欄） | 一句話：它是什麼、用什麼語言、做什麼。不寫口號 | 它進入頁面的 title 和 meta description（實測） |
| README 第一段 | 重複並展開這句話：名稱、是什麼、支援的平台、一個具體數字或限制 | 最先被讀到，也最可能被摘走 |
| 安裝和快速開始 | 可複製的指令，寫清版本和系統需求 | 「怎麼安裝 X」是最常見的提問 |
| 比較小節 | 和相鄰工具比一張表，每項寫出處和核對日期 | 回答「X 和 Y 有什麼差別」，見比較頁指南 |
| 連結小節 | 官網、文件、更新日誌的完整網址 | 把 AI 帶到你能完全控制的頁面 |
比較小節只寫查得到的事實，寫法見 比較頁怎麼寫；開頭怎麼寫成能被摘走的樣子，見 怎麼寫出 AI 願意引用的內容？改寫前後對照。
一份可以照抄的 README 範本長什麼樣？
下面是範本（名稱和網址是佔位）。注意第一段就把「是什麼、什麼語言、什麼系統」說完，比較表標了核對日期，最後列出官網和文件的完整網址。
# ExampleTool
ExampleTool is a command-line tool that converts Markdown notes into a static
site. It is written in Go and runs on macOS, Linux and Windows.
## Install
brew install exampletool
# or
go install github.com/example/exampletool@latest
## Quick start
exampletool build ./notes --out ./site
## ExampleTool vs. other static site generators
| | ExampleTool | Hugo | Jekyll |
|---|---|---|---|
| Language | Go | Go | Ruby |
| Input | Markdown notes | Markdown + templates | Markdown + Liquid |
| Config needed | none | config file | config file |
(Comparison checked 2026-11-06 against each project's own documentation.)
## Links
- Website: https://example.com/exampletool/
- Documentation: https://example.com/exampletool/docs/
- Changelog: https://github.com/example/exampletool/releases
只有 README，還需要官網嗎？
需要。README 受 GitHub 的頁面格式限制，不能放結構化資料，也不能寫價格、聯絡方式這類 AI 回答常引用的資訊；儲存庫頁上還有大量無關的介面文字。官網才是你能完全控制的頁面。做法：README 寫清事實，並連結到官網；官網用一句話重複同樣的定義，加 結構化資料對 AI 搜尋有用嗎？。官網的整體寫法見 怎麼讓 ChatGPT 推薦我的產品，「關於我們」頁見 About 頁怎麼寫。
怎麼一步一步改？
1. 先確認沒有自己擋住自己
如果你的官網 robots.txt 擋了 AI 爬蟲，README 裡的連結過去也讀不到。規則見 AI 爬蟲的 robots.txt 怎麼寫，各家爬蟲見 AI 爬蟲 User-Agent 對照表。
2. 填好儲存庫描述和主題標籤
在儲存庫的 About 欄寫一句話描述並填官網網址。它會出現在頁面標題和 meta description 裡。
3. 重寫 README 的第一段
一句話定義加一個具體事實（語言、平台、版本需求），不要以徽章和口號開頭。
4. 加安裝、快速開始和比較表
指令可複製；比較表每項寫核對日期。
5. 在結尾連結官網和文件
用完整網址，不要只寫「見文件」。
6. 過幾週回頭看
用 怎麼衡量 AI 可見度？四個指標與一張可照做的表 裡說的方法查：問 AI 一個「有什麼工具可以做 X」的問題，看有沒有提到你，以及引用的是哪個網址。
常見問題
ChatGPT 會讀我的 GitHub README 嗎？
我們沒有找到官方文件說明，也沒有拿到實際引用的證據，未核實。能確認的只有：github.com 的 robots.txt（2026-11-06）沒有禁止這些 AI 爬蟲讀取儲存庫首頁。
GitHub 允許 AI 爬蟲抓取嗎？
2026-11-06 讀取的 robots.txt 為 GPTBot、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot 單列一組規則，抓取間隔 1 秒，禁止的是 raw、tree、archive、blame、commits、gist 和站內搜尋等路徑，沒有禁止儲存庫首頁。Bytespider 被整站禁止。
README 裡的徽章和圖片有用嗎？
對 AI 來說，圖片裡的文字讀不到。徽章可以留，但不要讓它們擠掉第一段文字；重要資訊寫成文字。
README 越長越好嗎？
不是。GitHub 超過 500 KiB 會截斷，但更實際的問題是讀者和爬蟲都只會先看開頭。把定義、安裝和比較放前面，長文件放到文件站。
儲存庫描述要寫什麼？
一句話說清它是什麼、用什麼語言、做什麼。它會進入儲存庫頁的 title 和 meta description（2026-11-06 實測一個公開儲存庫），是最容易被摘走的一句話。
出處
- GitHub · github.com/robots.txt （2026-11-06 讀取）
- GitHub Docs · About the repository README file （查看於 2026-11-06）
- GitHub · 示例仓库页（用来查 HTML 里有什么） （2026-11-06 讀取）
- kagentx 評測：案例頁的資料，日期寫在每個例子裡。