Brave Search 的爬虫有什么特别?
它有自己的索引,爬虫不报名字,访问权限跟着 Googlebot 走。下面是 Brave 官方“Brave Search crawler”页(2026-11-09 打开核对,页面没有写日期)的要点:
| 问题 | 官方页怎么写 | 对你意味着 |
|---|---|---|
| 有自己的爬虫吗 | 有:像其他搜索引擎一样发现新页面并建索引,部分信息来自启用 Web Discovery Project 的用户 | 要靠自己的网站被正常抓取,不能只靠别家 |
| User-Agent | 没有有区别的 User-Agent,理由是避免歧视只允许 Google 抓取的网站 | 日志里认不出它,也没法单独放行或拦截 |
| 和 Googlebot 的关系 | 如果 Googlebot 不能抓取某个域名或页面,Brave 的爬虫也不会抓 | 对 Googlebot 放行,就是对 Brave 放行 |
| robots.txt | robots.txt 不用来阻止页面被收录 | 想不被收录要用 noindex |
| noindex | 站主用 robots noindex 删除页面;页面更新后 Brave 需要重新抓取才生效 | 加了 noindex 后要等重新抓取 |
| 提交网址 | 有表单,写的用途是重新抓取已有页面,以及报告已不存在的页面 | 全新网址怎么提交,这一页没写 |
这一页没有写 AI,也没有写抓取频率。其他地方的 AI 爬虫对照见 AI 爬虫 User-Agent 对照表。
哪些 AI 产品用 Brave 的搜索数据?
官方点名的只有 Brave 自己的产品,其余都没有官方点名。下面把“官方说过的”和“未核实”分开:
| 产品 | 用 Brave 吗 | 出处 |
|---|---|---|
| Brave Leo(浏览器里的 AI 助手) | 用:官方博客写 Leo 的回答可以加入搜索结果,“powered by the Brave Search API” | Brave 博客,2024-06-13 |
| Brave Search 的 Answer with AI | 用:官方博客写 AI Grounding 已经支撑这个功能 | Brave 博客,2025-08-05 |
| “大多数前十大 LLM” | Brave 自己说 API 给它们提供实时搜索数据,没有点名 | Brave 博客,2025-08-05;未核实是哪些 |
| Mistral Le Chat 的 Deep Research | 只见二手博客转述报道,没有找到 Mistral 或 Brave 的官方说法 | 未核实,见下面的链接 |
| 其他 AI 助手 | 没有官方点名 | 未核实 |
所以不要因为某个 AI 助手“据说”用 Brave 就专门为它做事。可以确定的是:Brave 自己的 Leo 和回答功能读 Brave 的索引。Mistral Le Chat 的情况见 怎么让 Mistral Le Chat 推荐我的产品,ChatGPT 的搜索来源讨论见 ChatGPT 用 Bing 吗?。
怎么让我的网站进入 Brave 的索引?
官方没有给“提交收录”的入口,所以按下面几步做,确保没有被挡住:
1. 确认 Googlebot 没有被拦
Brave 的访问权限跟着 Googlebot 走。跑下面几行,看 robots.txt 里有没有对 Googlebot 的 Disallow,页面有没有 noindex:
# Does robots.txt block Googlebot? Brave's crawler follows Googlebot's access curl -s https://example.com/robots.txt | grep -i -B1 -A3 "googlebot" # Is the page itself marked noindex? curl -s https://example.com/page/ | grep -io '<meta name="robots"[^>]*>' curl -sI https://example.com/page/ | grep -i "x-robots-tag"
2. 不要靠 robots.txt 控制收录
想让页面不出现,用 noindex;想让它出现,就不要加。规则写法见 AI 爬虫的 robots.txt 怎么写。
3. 让正文直接写在 HTML 里
4. 保持 sitemap 和内链正常
官方页没有写 Brave 是否读 sitemap,所以内链也要能走到每一页。lastmod 的写法见 sitemap 的 lastmod 对 AI 爬虫有用吗?,重复页面见 重复内容和 canonical 对 AI 搜索有什么影响?。
5. 页面改动后,需要时提交重新抓取
官方页的表单写的用途是重新抓取已有页面。把页面更新后再提交,不要反复提交。
怎么知道 Brave 收录了没有?
官方页没有写站长工具。能做的是直接在 search.brave.com 上搜 “site:你的域名”,再用买家的问题搜几次,看你的页面在不在、排第几。记录方法见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
另一家独立搜索 Kagi 的索引来源和爬虫 Kagibot,见 怎么让 Kagi 推荐我的产品?Kagibot 与引用来源。
常见问题
Brave Search 的爬虫 User-Agent 是什么?
没有专门的名字。Brave 官方页写明它的爬虫不使用有区别的 User-Agent,理由是避免歧视只允许 Google 抓取的网站。所以日志里没法靠名字认出它。
我能在 robots.txt 里只放行 Brave 吗?
不能。官方页的说法是:如果 Googlebot 不能抓取某个域名或页面,Brave 的爬虫也不会抓。所以 Brave 的访问权限跟着 Googlebot 走,没有单独的开关。
怎么让 Brave 把某个页面从结果里删掉?
官方页写的是:用 robots noindex,robots.txt 不能用来阻止收录。页面更新后 Brave 需要重新抓取才生效,可以用官方页链接的表单提交重新抓取。
怎么向 Brave 提交一个新网址?
官方页的提交表单写的用途是重新抓取已有页面,和报告已不存在的页面。怎么提交全新网址,这一页没写,我们不猜。能做的是让网站对 Googlebot 可抓取,并有正常的内链和 sitemap。
哪些 AI 产品用 Brave 的搜索 API?
官方公开点名的只有 Brave 自己的 Leo 和 Brave Search 里的 Answer with AI。Brave 还说 API 给大多数前十大大模型提供搜索数据,但没有点名,所以其他产品我们都写未核实。
出处
- Brave · Brave Search crawler (2026-11-09 核对,页面未写日期)
- Brave · Leo now incorporates real-time Brave Search results (2024-06-13 发表)
- Brave · Introducing AI Grounding with Brave Search API (2025-08-05 发表,2025-09-01 更新)
- kagentx 评测:案例页的数据,日期写在每个例子里。