Brave Search 的爬蟲有什麼特別?
它有自己的索引,爬蟲不報名字,訪問許可權跟著 Googlebot 走。下面是 Brave 官方“Brave Search crawler”頁(2026-11-09 開啟核對,頁面沒有寫日期)的要點:
| 問題 | 官方頁怎麼寫 | 對你意味著 |
|---|---|---|
| 有自己的爬蟲嗎 | 有:像其他搜尋引擎一樣發現新頁面並建索引,部分資訊來自啟用 Web Discovery Project 的使用者 | 要靠自己的網站被正常抓取,不能只靠別家 |
| User-Agent | 沒有有區別的 User-Agent,理由是避免歧視只允許 Google 抓取的網站 | 日誌裡認不出它,也沒法單獨放行或攔截 |
| 和 Googlebot 的關係 | 如果 Googlebot 不能抓取某個域名或頁面,Brave 的爬蟲也不會抓 | 對 Googlebot 放行,就是對 Brave 放行 |
| robots.txt | robots.txt 不用來阻止頁面被收錄 | 想不被收錄要用 noindex |
| noindex | 站主用 robots noindex 刪除頁面;頁面更新後 Brave 需要重新抓取才生效 | 加了 noindex 後要等重新抓取 |
| 提交網址 | 有表單,寫的用途是重新抓取已有頁面,以及報告已不存在的頁面 | 全新網址怎麼提交,這一頁沒寫 |
這一頁沒有寫 AI,也沒有寫抓取頻率。其他地方的 AI 爬蟲對照見 AI 爬蟲 User-Agent 對照表。
哪些 AI 產品用 Brave 的搜尋資料?
官方點名的只有 Brave 自己的產品,其餘都沒有官方點名。下面把“官方說過的”和“未核實”分開:
| 產品 | 用 Brave 嗎 | 出處 |
|---|---|---|
| Brave Leo(瀏覽器裡的 AI 助手) | 用:官方部落格寫 Leo 的回答可以加入搜尋結果,“powered by the Brave Search API” | Brave 部落格,2024-06-13 |
| Brave Search 的 Answer with AI | 用:官方部落格寫 AI Grounding 已經支撐這個功能 | Brave 部落格,2025-08-05 |
| “大多數前十大 LLM” | Brave 自己說 API 給它們提供實時搜尋資料,沒有點名 | Brave 部落格,2025-08-05;未核實是哪些 |
| Mistral Le Chat 的 Deep Research | 只見二手部落格轉述報道,沒有找到 Mistral 或 Brave 的官方說法 | 未核實,見下面的連結 |
| 其他 AI 助手 | 沒有官方點名 | 未核實 |
所以不要因為某個 AI 助手“據說”用 Brave 就專門為它做事。可以確定的是:Brave 自己的 Leo 和回答功能讀 Brave 的索引。Mistral Le Chat 的情況見 怎麼讓 Mistral Le Chat 推薦我的產品,ChatGPT 的搜尋來源討論見 ChatGPT 用 Bing 嗎?。
怎麼讓我的網站進入 Brave 的索引?
官方沒有給“提交收錄”的入口,所以按下面幾步做,確保沒有被擋住:
1. 確認 Googlebot 沒有被攔
Brave 的訪問許可權跟著 Googlebot 走。跑下面幾行,看 robots.txt 裡有沒有對 Googlebot 的 Disallow,頁面有沒有 noindex:
# Does robots.txt block Googlebot? Brave's crawler follows Googlebot's access curl -s https://example.com/robots.txt | grep -i -B1 -A3 "googlebot" # Is the page itself marked noindex? curl -s https://example.com/page/ | grep -io '<meta name="robots"[^>]*>' curl -sI https://example.com/page/ | grep -i "x-robots-tag"
2. 不要靠 robots.txt 控制收錄
想讓頁面不出現,用 noindex;想讓它出現,就不要加。規則寫法見 AI 爬蟲的 robots.txt 怎麼寫。
3. 讓正文直接寫在 HTML 裡
4. 保持 sitemap 和內鏈正常
官方頁沒有寫 Brave 是否讀 sitemap,所以內鏈也要能走到每一頁。lastmod 的寫法見 sitemap 的 lastmod 對 AI 爬蟲有用嗎?,重複頁面見 重複內容和 canonical 對 AI 搜尋有什麼影響?。
5. 頁面改動後,需要時提交重新抓取
官方頁的表單寫的用途是重新抓取已有頁面。把頁面更新後再提交,不要反覆提交。
怎麼知道 Brave 收錄了沒有?
官方頁沒有寫站長工具。能做的是直接在 search.brave.com 上搜 “site:你的域名”,再用買家的問題搜幾次,看你的頁面在不在、排第幾。記錄方法見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。
另一家獨立搜尋 Kagi 的索引來源和爬蟲 Kagibot,見 怎麼讓 Kagi 推薦我的產品?Kagibot 與引用來源。
常見問題
Brave Search 的爬蟲 User-Agent 是什麼?
沒有專門的名字。Brave 官方頁寫明它的爬蟲不使用有區別的 User-Agent,理由是避免歧視只允許 Google 抓取的網站。所以日誌裡沒法靠名字認出它。
我能在 robots.txt 裡只放行 Brave 嗎?
不能。官方頁的說法是:如果 Googlebot 不能抓取某個域名或頁面,Brave 的爬蟲也不會抓。所以 Brave 的訪問許可權跟著 Googlebot 走,沒有單獨的開關。
怎麼讓 Brave 把某個頁面從結果裡刪掉?
官方頁寫的是:用 robots noindex,robots.txt 不能用來阻止收錄。頁面更新後 Brave 需要重新抓取才生效,可以用官方頁連結的表單提交重新抓取。
怎麼向 Brave 提交一個新網址?
官方頁的提交表單寫的用途是重新抓取已有頁面,和報告已不存在的頁面。怎麼提交全新網址,這一頁沒寫,我們不猜。能做的是讓網站對 Googlebot 可抓取,並有正常的內鏈和 sitemap。
哪些 AI 產品用 Brave 的搜尋 API?
官方公開點名的只有 Brave 自己的 Leo 和 Brave Search 裡的 Answer with AI。Brave 還說 API 給大多數前十大大模型提供搜尋資料,但沒有點名,所以其他產品我們都寫未核實。
出處
- Brave · Brave Search crawler (2026-11-09 核對,頁面未寫日期)
- Brave · Leo now incorporates real-time Brave Search results (2024-06-13 發表)
- Brave · Introducing AI Grounding with Brave Search API (2025-08-05 發表,2025-09-01 更新)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。