AI 爬虫能读到 GitHub 上的 README 吗？
从公开信息看，能读到。github.com 的 robots.txt 为 GPTBot、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot 单独写了一组规则，没有禁止仓库首页。但“能读到”不等于“会引用”：三家 AI 公司的官方文档都没有说明它们怎么对待 GitHub 仓库页，ChatGPT 实际引不引用 README 我们未核实。
| 我们查到的 | 结果（2026-11-06） | 能说明什么 |
|---|---|---|
| github.com/robots.txt 的 AI 爬虫组 | 为 GPTBot、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot 单列一组，抓取间隔 1 秒；Bytespider 整站禁止 | 这几个爬虫是被明确点名处理的 |
| 这一组禁止的路径 | /*/raw/、/*/tree/、/*/archive/、/*/blame/、/*/commits/、/gist/、站内搜索等；没有禁仓库首页和 /blob/ 路径 | 仓库首页上的 README 可抓；子目录列表页（/tree/）和原文（/raw/）不可抓 |
| 一个仓库首页的 HTML | 用 OAI-SearchBot 的 User-Agent 字符串请求，HTTP 200；README 正文直接写在 HTML 里；title 和 meta description 来自仓库名和仓库描述 | 不依赖脚本渲染；这是我们模拟的，不是 OpenAI 爬虫真实取到的 |
| raw.githubusercontent.com | 没有 robots.txt（404），README 原文能取到 | 原文网址可读，但它只是纯文本，没有仓库名和描述 |
这意味着：仓库描述（About 栏的那一句话）和 README 开头，是最可能被读到的两处文字。
GitHub 的 README 放在哪里，有什么限制？
GitHub 官方文档（About the repository README file，2026-11-06 核对）写明：README 可以放在隐藏目录 .github、仓库根目录或 docs 目录，三处都有时按这个顺序取第一个；超过 500 KiB 的内容会被截断；链接以当前文件为基准，所以相对路径在克隆下来的仓库里也能用。长文档官方建议放到 wiki 或文档站。
怎么写，README 才容易被 AI 引用？
和别的页面一样：先直接回答“这是什么、给谁用”，再给可以核对的细节。下面是 README 和一般网页不同的地方：
| 位置 | 写什么 | 为什么 |
|---|---|---|
| 仓库描述（About 栏） | 一句话：它是什么、用什么语言、做什么。不写口号 | 它进入页面的 title 和 meta description（实测） |
| README 第一段 | 重复并展开这句话：名字、是什么、支持的平台、一个具体数字或限制 | 最先被读到，也最可能被摘走 |
| 安装和快速开始 | 可复制的命令，写清版本和系统要求 | “怎么安装 X”是最常见的提问 |
| 对比小节 | 和相邻工具比一张表，每项写出处和核对日期 | 回答“X 和 Y 有什么区别”，见对比页指南 |
| 链接小节 | 官网、文档、更新日志的完整网址 | 把 AI 带到你能完全控制的页面 |
对比小节要只写查得到的事实，写法见 对比页怎么写；开头怎么写成能被摘走的样子，见 怎么写出 AI 愿意引用的内容？改写前后对照。
一份可以照抄的 README 模板长什么样？
下面是模板（名字和网址是占位）。注意第一段就把“是什么、什么语言、什么系统”说完，对比表标了核对日期，最后列出官网和文档的完整网址。
# ExampleTool
ExampleTool is a command-line tool that converts Markdown notes into a static
site. It is written in Go and runs on macOS, Linux and Windows.
## Install
brew install exampletool
# or
go install github.com/example/exampletool@latest
## Quick start
exampletool build ./notes --out ./site
## ExampleTool vs. other static site generators
| | ExampleTool | Hugo | Jekyll |
|---|---|---|---|
| Language | Go | Go | Ruby |
| Input | Markdown notes | Markdown + templates | Markdown + Liquid |
| Config needed | none | config file | config file |
(Comparison checked 2026-11-06 against each project's own documentation.)
## Links
- Website: https://example.com/exampletool/
- Documentation: https://example.com/exampletool/docs/
- Changelog: https://github.com/example/exampletool/releases
只有 README，还需要官网吗？
需要。README 受 GitHub 的页面格式限制，不能放结构化数据，也不能写价格、联系方式这类 AI 回答常引用的信息；仓库页上还有大量无关的界面文字。官网才是你能完全控制的页面。做法：README 写清事实，并链接到官网；官网用一句话重复同样的定义，加 结构化数据对 AI 搜索有用吗？。官网的整体写法见 怎么让 ChatGPT 推荐我的产品，“关于我们”页见 About 页怎么写。
怎么一步一步改？
1. 先确认没有自己拦住自己
如果你的官网 robots.txt 拦了 AI 爬虫，README 里的链接过去也读不到。规则见 AI 爬虫的 robots.txt 怎么写，各家爬虫见 AI 爬虫 User-Agent 对照表。
2. 填好仓库描述和主题标签
在仓库的 About 栏写一句话描述并填官网网址。它会出现在页面标题和 meta description 里。
3. 重写 README 的第一段
一句话定义加一个具体事实（语言、平台、版本要求），不要以徽章和口号开头。
4. 加安装、快速开始和对比表
命令可复制；对比表每项写核对日期。
5. 在末尾链接官网和文档
用完整网址，不用只写“见文档”。
6. 过几周回头看
在 怎么衡量 AI 可见度？四个指标和一张可照做的表 里说的方法查：问 AI 一个“有什么工具可以做 X”的问题，看有没有提到你，以及引用的是哪个网址。
常见问题
ChatGPT 会读我的 GitHub README 吗？
我们没有找到官方文档说明，也没有拿到实际引用的证据，未核实。能确认的只有：github.com 的 robots.txt（2026-11-06）没有禁止这些 AI 爬虫读取仓库首页。
GitHub 允许 AI 爬虫抓取吗？
2026-11-06 读取的 robots.txt 为 GPTBot、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot 单列一组规则，抓取间隔 1 秒，禁止的是 raw、tree、archive、blame、commits、gist 和站内搜索等路径，没有禁止仓库首页。Bytespider 被整站禁止。
README 里的徽章和图片有用吗？
对 AI 来说，图片里的文字读不到。徽章可以留，但不要让它们挤掉第一段文字；重要信息写成文字。
README 越长越好吗？
不是。GitHub 超过 500 KiB 会截断，但更实际的问题是读者和爬虫都只会先看开头。把定义、安装和对比放前面，长文档放到文档站。
仓库描述要写什么？
一句话说清它是什么、用什么语言、做什么。它会进入仓库页的 title 和 meta description（2026-11-06 实测一个公开仓库），是最容易被摘走的一句话。
出处
- GitHub · github.com/robots.txt （2026-11-06 读取）
- GitHub Docs · About the repository README file （查看于 2026-11-06）
- GitHub · 示例仓库页（用来查 HTML 里有什么） （2026-11-06 读取）
- kagentx 评测：案例页的数据，日期写在每个例子里。