百度文心的回答,用的是哪里的网页?
百度官方没有写。我们读了百度搜索资源平台的公告和帮助页,没有找到一页讲文心一言、文小言或百度 AI 搜索怎么选来源、用哪个爬虫。能确认的只有一条:2026-09-15 资源平台公告上线了「AI流量分析」,写明将提供站点内容在传统搜索场景下 AI 引用、曝光、点击等数据,但「数据服务尚未正式启用,暂无法展示完整数据」(2026-11-12 读原文)。
这说明百度把「内容被 AI 引用」当作站长要看的数据,也说明引用和资源平台里的站点是同一套体系。至于文心的回答具体从哪些网页取,官方没有说,第三方文章里的说法(例如百度百科、百家号常被引用)我们没有一手来源,未核实。三个名称(文心一言、文小言、百度 AI 搜索)之间的关系,我们也没有在百度官方页面核对,按并列写。
百度官方公布了哪些爬虫?
| 名称 | 官方说法 | 出处(查看于 2026-11-12) |
|---|---|---|
| Baiduspider/2.0 | PC 和移动抓取的 User-Agent 统一称 Baiduspider/2.0,UA 里带 http://www.baidu.com/search/spider.html | 资源平台公告,2015-08-11 |
| Baiduspider-render/2.0 | 渲染抓取:访问网站的 CSS、JavaScript 和图片,以更准确理解页面;请尽量不要封禁这个 UA | 资源平台公告,2017-03-24 |
| Baiduspider-image | 图片抓取;百度自己的 robots.txt 为它单独写了一组,帮助页说明禁抓图片用路径规则 | 百度帮助中心、www.baidu.com/robots.txt |
| Baiduspider-news、-cpro、-ads | 只在第三方登记站里见到 | 未核实,没有一手文档 |
| 文心、文小言、AI 搜索专用爬虫 | 没有找到官方说明 | 未核实 |
这些公告发布在 2015 和 2017 年,我们没有找到更新的官方 UA 清单,现在的 UA 以服务器日志为准。名称对照见 AI 爬虫 User-Agent 对照表。
百度对 robots.txt 的规则有哪些要注意?
百度帮助中心写明:蜘蛛访问网站前先查根目录的 robots.txt;被 robots 屏蔽的页面,百度不会抓取、收录或展示内容,但如果别的网站链接了这个页面,它仍可能出现在结果里,摘要来自别人的描述。
| 规则 | 百度帮助页的说法 |
|---|---|
| User-agent | 一个 robots.txt 只允许一条 User-agent: * 记录;写了 User-agent: Baiduspider,就按这一组下面的规则 |
| 顺序 | Allow 和 Disallow 的顺序有意义,蜘蛛从上往下匹配,匹配到就执行 |
| 通配符 | 支持 * 和 $ |
| 没有 robots.txt | 没有文件或文件为空,等于全站对所有搜索引擎开放 |
| 工具 | 资源平台的 Robots 工具可以校验、更新,并查看在百度生效的情况;支持 48k 以内的文件内容检测 |
帮助页没有写日期,页脚是 2011 年。顺序规则和别家(Google 按最长匹配)不同,所以同一份 robots.txt 在百度的结果可能和在 Google 不一样,用 Robots 工具核对一次。
我们自己四个站的 robots.txt 对 Baiduspider 怎么设?
| 站点 | robots.txt 的规则(2026-11-12 curl,都是 200) | 对 Baiduspider |
|---|---|---|
| kagentx.com | User-agent * Allow: /;只禁 /admin.html、/candidates.html、/api/ | 允许 |
| mochistamp.com | * 组禁 /api/(后面再 Allow /api/content.js 和 /api/strings/)、/files/、/admin.html | 首页允许;/api/content.js 未核实(见下) |
| gammaslide.com | * 组禁 /d/、/decks、/account、/admin | 允许 |
| pagent.kagentx.com | * 组只禁 /i18n/ | 允许 |
四个站都没有点名 Baiduspider。用 Python 的 robots.txt 解析器按文字算,Baiduspider 和 Baiduspider-image 访问四个首页都是允许。这不是百度蜘蛛的真实访问,我们没有核实服务器日志里有没有 Baiduspider。
mochistamp.com 有一处值得单独看:先写了 Disallow: /api/,后面才写 Allow: /api/content.js。按百度帮助页的顺序规则,后面的 Allow 在 Baiduspider 这里可能不生效,而页面会引用 /api/content.js。我们没有用 Robots 工具验证,写作时未核实。
怎么把网址交给百度?提交方式和配额是怎么回事?
| 工具 | 官方说明 | 出处 |
|---|---|---|
| 普通收录 | 向百度主动推送数据,缩短爬虫发现链接的时间;有 API、手动、sitemap 三种方式;不保证一定收录 | 普通收录页;搜索学堂文章(2020-08-06) |
| 快速抓取 | 手动或 API 提交,优先抓取,对是否收录和展现不保证;提交即占用配额 | 搜索学堂文章(2020-08-06);2024-04-24 公告:4 月 26 日起取代「快速收录」 |
| sitemap | 提交有配额,站点不同配额不同;索引型 sitemap 不处理,存在时不允许提交新文件 | 搜索学堂文章(2020-08-06) |
| 配额收紧 | 针对非实名账户内站点、低质站点关停 sitemap 提交能力,并调整 API 每日推送额度 | 资源平台公告,2023-09-22 |
| 抓取诊断 | 看百度蜘蛛实际抓到的内容;每周 70 次,只显示前 200KB | 搜索学堂文章(2020-08-06),数字未逐项核对 |
快速抓取的权益怎么拿,2020 年那篇文章写的是成为资源平台 VIP 合作伙伴会自动获得,或通过平台活动获得;现在的条件我们没有登录核对,未核实。
独立开发者现在能做什么?
1. 先确认没有拦住 Baiduspider
检查 robots.txt 和 CDN 的机器人规则。不要写「只放行 Google」的规则;参考写法:
# Let Baiduspider in; keep private paths out User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://your-site.com/sitemap.xml
写法细节见 AI 爬虫的 robots.txt 怎么写?。
2. 在百度搜索资源平台添加站点,并用 Robots 工具核对
如果你写过 Allow 在 Disallow 之后的规则,用这个工具确认百度的解析结果。
3. 提交 sitemap,用单个文件
官方文章写明索引型 sitemap 不处理,所以把网址列在单个 sitemap 里;有新页时用普通收录的 API 推送。官方不保证收录。
4. 正文直接写在 HTML 里
官方只写了渲染抓取会访问 CSS 和 JavaScript,没有写执行范围,所以价格、功能、一句话介绍在没有脚本时也要看得到,原因见 AI 爬虫会执行 JavaScript 吗?。
5. 目标用户用中文提问就做独立网址的中文页
中文页要有自己的网址、中文标题和描述,多语言写法见 多语言网站怎么写 hreflang?AI 搜索怎么处理?。这是推断:百度没有写文心怎么处理多语言页面。
6. 在百度 AI 搜索和文小言里自己问三次
同一个问题问三次,记下有没有提到你、引用了哪些网页,方法见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
别家的中文模型见 怎么让豆包和 Kimi 推荐我的产品? 和 怎么让通义千问(Qwen)推荐我的产品?;韩国市场的对应文章见 怎么让 Naver(네이버)推荐我的产品?。
常见问题
百度文心一言的回答用的是百度搜索的网页吗?
百度官方没有写。资源平台的「AI流量分析」公告提到站点内容在 AI 中的引用和曝光,但没有说明文心怎么取网页,未核实。
文心有自己的爬虫吗?
我们没有找到官方公布的专用爬虫名称,未核实。官方公布的是 Baiduspider/2.0 和 Baiduspider-render/2.0。
robots.txt 拦掉 Baiduspider,会怎样?
百度帮助页写明被屏蔽的页面不会被抓取、收录或展示,但被别的站链接时仍可能出现,摘要来自别人的描述。
提交 sitemap 能保证被收录吗?
不能。官方说明不保证一定收录;sitemap 还有配额,索引型 sitemap 不处理。
百度的 robots.txt 规则和 Google 一样吗?
不完全一样。百度帮助页写明 Allow 和 Disallow 按顺序从上往下匹配,匹配到就执行,用 Robots 工具核对。
「AI流量分析」现在能用吗?
2026-09-15 的公告写明正在分阶段开放,数据服务尚未正式启用,暂无法展示完整数据。我们没有登录核对现在的状态,未核实。
要不要做百度专用的中文页?
如果目标用户用中文提问,建议做独立网址的中文页。这是推断,百度没有写它怎么处理多语言页面。
怎么知道有没有被文心推荐?
开联网搜索,同一个问题问三次,记下有没有提到你和引用了哪些网页;官方没有公布排序方式,回答每次也不一样。
出处
- 百度搜索资源平台 · AI流量分析功能上线公告(2026-09-15) (2026-11-12 读原文)
- 百度搜索资源平台 · 新版Baiduspider移动ua升级公告(2015-08-11) (2026-11-12 读原文)
- 百度搜索资源平台 · 百度Spider新增渲染抓取UA公告(2017-03-24) (2026-11-12 读原文)
- 百度搜索资源平台 · 关于升级平台「快速收录」工具的通知(2024-04-24) (2026-11-12 读原文)
- 百度搜索资源平台 · 关于回收网站提交配额的通知(2023-09-22) (2026-11-12 读原文)
- 百度搜索资源平台 · 详解平台工具的使用和常见问题(2020-08-06) (2026-11-12 读原文,数字可能已变)
- 百度帮助中心 · Baiduspider Help Center: How to block the crawling (2026-11-12 读原文,页面没有更新日期)
- 百度搜索资源平台 · Robots 工具说明(未登录可见部分) (查看于 2026-11-12)
- kagentx · robots.txt (2026-11-12 抓取)
- MochiStamp · robots.txt (2026-11-12 抓取)
- Gamma AI Slide · robots.txt (2026-11-12 抓取)
- Pagent · robots.txt (2026-11-12 抓取)
- kagentx 评测:案例页的数据,日期写在每个例子里。