官方文档对 PDF 怎么说?
只有 Google 的文档明确写了 PDF。OpenAI 和 Perplexity 我们 2026-11-09 读到的爬虫页面都没有提 PDF,写“官方未说明”,不猜。下面所有页面都没有标注“最后更新”日期,所以日期是我们的查看日期。
| 产品 | 官方文档写了什么 | 状态 |
|---|---|---|
| Google 搜索 | “能索引的文件类型”页把 PDF 列在需要专门解析器的编码类文件里,和 Word、Excel、PowerPoint、EPUB 等一起 | indexable-file-types 页,2026-11-09 读 |
| Google 搜索 | Googlebot 取 PDF 的开头 64MB,普通受支持文件取开头 2MB,按解压后的数据算;超出的部分不交给索引 | googlebot 页,2026-11-09 读 |
| ChatGPT 搜索 | 爬虫页只讲 OAI-SearchBot 等爬虫和 robots.txt,没有提 PDF 或任何文件类型 | developers.openai.com 爬虫页,2026-11-09 读;PDF 处理:官方未说明;帮助中心文章返回 403:未核实 |
| Perplexity | 爬虫页没有提 PDF 或文件类型 | docs.perplexity.ai 爬虫页,2026-11-09 读;PDF 处理:官方未说明(只核对了这一页) |
所以“PDF 能不能被 AI 引用”只有 Google 这一家有明确答案:能索引。其他家没有书面承诺,不能当作一定会。
Google 对 PDF 的几个具体规则是什么?
四条都出自 Google 的搜索文档,2026-11-09 读:
| 问题 | 文档的说法 |
|---|---|
| 怎么判断是不是 PDF | 一般看 Content-Type 响应头;头缺失或不对时,可能按扩展名,或换一个解析器再试 |
| 能读多大 | PDF 取开头 64MB;超过的部分,Googlebot 停止抓取,只把已经下载的部分交给索引 |
| 不想被索引 | 非 HTML 文件用 X-Robots-Tag 响应头 noindex,文档给了 Apache 和 NGINX 的 PDF 例子 |
| 和 HTML 页重复 | rel=canonical 可以写在 HTTP 头里,文档写明适用于非 HTML 文档如 PDF |
# PDF served with the right type, a canonical pointing to the HTML page HTTP/1.1 200 OK Content-Type: application/pdf Link: <https://example.com/whitepaper/>; rel="canonical" # Keep a PDF out of the index (Google's documented way for non-HTML files) X-Robots-Tag: noindex
重复内容的一般处理见 canonical 和重复内容:多语言站怎么配,才不被当成重复页?;robots.txt 挡住的文件,爬虫读不到它的响应头,所以要用 noindex 的话不要同时用 robots.txt 挡,写法见 AI 爬虫的 robots.txt 怎么写?。
该把内容放进 PDF 吗?
把内容放在 HTML 页面上,PDF 当作可下载的版本。原因是只有 Google 一家的文档写明支持 PDF,其他家官方未说明,而普通网页没有这个不确定。下面是几种常见内容怎么放:
| 内容 | 建议 | 原因 |
|---|---|---|
| 白皮书、研究报告 | HTML 页放摘要、关键数据和章节,PDF 作为下载 | 摘要和数据直接在正文,AI 引用时不用解析文件 |
| 产品说明书、规格表 | 做成 HTML 表格,PDF 另附 | 规格、对比类内容用表格最容易被读取 |
| 开发者文档 | 只用 HTML | 文档要经常更新,PDF 容易过期 |
| 会议论文、学术 PDF | PDF 可以保留,页面上写题目、作者、摘要,并链到 PDF | Google 明确能索引 PDF;其他家:官方未说明 |
| 需要填表才能下载的 PDF | 摘要页公开,文件本身另说 | 爬虫不会填表;摘要页至少能被读到 |
内容怎么写才容易被引用见 怎么写出 AI 愿意引用的内容?改写前后对照,开发者文档的做法见 开发者文档怎么写,AI 才读得懂、引得到?。
怎么让 PDF 尽量被读到?
1. 先做一个 HTML 摘要页
页面上写 PDF 的标题、一段摘要、关键数据和下载链接,PDF 的网址从这一页链出去。
2. 确认 PDF 有文字层
推断:扫描图片转成的 PDF 没有可复制的文字,解析器没有文字可取。用 PDF 阅读器能选中并复制文字,说明有文字层。
3. 响应头 Content-Type 设成 application/pdf
Google 的文档说它主要按这个头判断类型。
4. 文件别超过限制
Google 取开头 64MB。内容靠后的重要部分,大文件里可能进不了索引;把重点放前面,或者拆成几个文件。
5. 重复的用 HTTP 头指向 HTML 页
Link 头的 rel=canonical,适用于 PDF。
6. 不想收录的 PDF 用 X-Robots-Tag
不要只靠 robots.txt。
7. 用日志确认爬虫真的取过
看服务器日志里有没有爬虫请求这个 .pdf,以及返回的状态码,见 HTTP 状态码对 AI 爬虫有什么影响?404、410、301、429、5xx。
我们没有读到任何 AI 产品公开说明 PDF 里的内容怎么被选进回答,也没有找到 PDF 对比 HTML 的引用统计,所以这里的建议是“稳妥的做法”,不是已知有效的做法。如果页面靠脚本生成,见 AI 爬虫会执行 JavaScript 吗?。
常见问题
AI 会引用 PDF 吗?
Google 的文档明确列出 PDF 是它能索引的文件类型。OpenAI 和 Perplexity 我们读到的爬虫页面没有提到 PDF,ChatGPT 帮助文章读不到,所以这两家 PDF 会不会被抓取和引用:官方未说明。
该把内容只放在 PDF 里吗?
不建议。PDF 只有 Google 官方写明支持,其他家官方未说明。把内容放在 HTML 页上,PDF 当作可下载的版本,比只给 PDF 稳妥。
PDF 有大小限制吗?
Google 的 Googlebot 文档写明 PDF 取开头 64MB,普通受支持文件取开头 2MB,按解压后的数据算,超过的部分不进索引。其他 AI 爬虫有没有限制,官方未说明。
PDF 和 HTML 页内容一样,会不会算重复?
可以用 HTTP 头里的 rel=canonical 把 PDF 指向 HTML 页。Google 的文档写明这个方法适用于非 HTML 文档如 PDF。其他搜索系统是否识别,官方未说明。
不想让某个 PDF 被索引怎么办?
用 X-Robots-Tag: noindex 响应头。Google 的文档写明 PDF、视频、图片这类非 HTML 文件用响应头而不是 meta 标签。注意要让爬虫能抓到这个文件,被 robots.txt 挡住的文件读不到这个头。
出处
- Google · File types indexable by Google (2026-11-09 核对,页面未写更新日期)
- Google · Googlebot (2026-11-09 核对,页面未写更新日期)
- Google · Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (2026-11-09 核对,页面未写更新日期)
- Google · How to specify a canonical URL (2026-11-09 核对,页面未写更新日期)
- OpenAI · Overview of OpenAI Crawlers (2026-11-09 核对,页面未写更新日期,页面没有提 PDF)
- Perplexity · Perplexity Crawlers (2026-11-09 核对,页面未写更新日期,页面没有提 PDF)
- kagentx 评测:案例页的数据,日期写在每个例子里。