百度文心的回答,用的是哪裡的網頁?
百度官方沒有寫。我們讀了百度搜尋資源平台的公告和幫助頁,沒有找到一頁講文心一言、文小言或百度 AI 搜尋怎麼選來源、用哪個爬蟲。能確認的只有一條:2026-09-15 資源平台公告上線了「AI流量分析」,寫明將提供網站內容在傳統搜尋場景下 AI 引用、曝光、點擊等資料,但「資料服務尚未正式啟用,暫無法展示完整資料」(2026-11-12 讀原文)。
這說明百度把「內容被 AI 引用」當作站長要看的資料,也說明引用和資源平台裡的網站是同一套體系。至於文心的回答具體從哪些網頁取,官方沒有說,第三方文章裡的說法(例如百度百科、百家號常被引用)我們沒有一手來源,未核實。三個名稱(文心一言、文小言、百度 AI 搜尋)之間的關系,我們也沒有在百度官方頁面核對,按並列寫。
百度官方公布了哪些爬蟲?
| 名稱 | 官方說法 | 出處(查看於 2026-11-12) |
|---|---|---|
| Baiduspider/2.0 | PC 和移動抓取的 User-Agent 統一稱 Baiduspider/2.0,UA 裡帶 http://www.baidu.com/search/spider.html | 資源平台公告,2015-08-11 |
| Baiduspider-render/2.0 | 渲染抓取:訪問網站的 CSS、JavaScript 和圖片,以更準確理解頁面;請盡量不要封鎖這個 UA | 資源平台公告,2017-03-24 |
| Baiduspider-image | 圖片抓取;百度自己的 robots.txt 為它單獨寫了一組,幫助頁說明禁抓圖片用路徑規則 | 百度幫助中心、www.baidu.com/robots.txt |
| Baiduspider-news、-cpro、-ads | 只在第三方登記站裡見到 | 未核實,沒有一手文件 |
| 文心、文小言、AI 搜尋專用爬蟲 | 沒有找到官方說明 | 未核實 |
這些公告發布在 2015 和 2017 年,我們沒有找到更新的官方 UA 清單,現在的 UA 以伺服器日誌為準。名稱對照見 AI 爬蟲 User-Agent 對照表。
百度對 robots.txt 的規則有哪些要注意?
百度幫助中心寫明:蜘蛛訪問網站前先查根目錄的 robots.txt;被 robots 封鎖的頁面,百度不會抓取、收錄或展示內容,但如果別的網站連結了這個頁面,它仍可能出現在結果裡,摘要來自別人的描述。
| 規則 | 百度幫助頁的說法 |
|---|---|
| User-agent | 一個 robots.txt 只允許一條 User-agent: * 記錄;寫了 User-agent: Baiduspider,就按這一組下面的規則 |
| 順序 | Allow 和 Disallow 的順序有意義,蜘蛛從上往下匹配,匹配到就執行 |
| 通配符 | 支援 * 和 $ |
| 沒有 robots.txt | 沒有檔案或檔案為空,等於全站對所有搜尋引擎開放 |
| 工具 | 資源平台的 Robots 工具可以校驗、更新,並查看在百度生效的情況;支援 48k 以內的檔案內容檢測 |
幫助頁沒有寫日期,頁尾是 2011 年。順序規則和別家(Google 按最長匹配)不同,所以同一份 robots.txt 在百度的結果可能和在 Google 不一樣,用 Robots 工具核對一次。
我們自己四個站的 robots.txt 對 Baiduspider 怎麼設?
| 網站 | robots.txt 的規則(2026-11-12 curl,都是 200) | 對 Baiduspider |
|---|---|---|
| kagentx.com | User-agent * Allow: /;只禁 /admin.html、/candidates.html、/api/ | 允許 |
| mochistamp.com | * 組禁 /api/(後面再 Allow /api/content.js 和 /api/strings/)、/files/、/admin.html | 首頁允許;/api/content.js 未核實(見下) |
| gammaslide.com | * 組禁 /d/、/decks、/account、/admin | 允許 |
| pagent.kagentx.com | * 組只禁 /i18n/ | 允許 |
四個站都沒有點名 Baiduspider。用 Python 的 robots.txt 解析器按文字算,Baiduspider 和 Baiduspider-image 訪問四個首頁都是允許。這不是百度蜘蛛的真實訪問,我們沒有核實伺服器日誌裡有沒有 Baiduspider。
mochistamp.com 有一處值得單獨看:先寫了 Disallow: /api/,後面才寫 Allow: /api/content.js。按百度幫助頁的順序規則,後面的 Allow 在 Baiduspider 這裡可能不生效,而頁面會引用 /api/content.js。我們沒有用 Robots 工具驗證,寫作時未核實。
怎麼把網址交給百度?提交方式和配額是怎麼回事?
| 工具 | 官方說明 | 出處 |
|---|---|---|
| 普通收錄 | 向百度主動推送資料,縮短爬蟲發現連結的時間;有 API、手動、sitemap 三種方式;不保證一定收錄 | 普通收錄頁;搜尋學堂文章(2020-08-06) |
| 快速抓取 | 手動或 API 提交,優先抓取,對是否收錄和展現不保證;提交即佔用配額 | 搜尋學堂文章(2020-08-06);2024-04-24 公告:4 月 26 日起取代「快速收錄」 |
| sitemap | 提交有配額,網站不同配額不同;索引型 sitemap 不處理,存在時不允許提交新檔案 | 搜尋學堂文章(2020-08-06) |
| 配額收緊 | 針對非實名帳戶內網站、低質網站關停 sitemap 提交能力,並調整 API 每日推送額度 | 資源平台公告,2023-09-22 |
| 抓取診斷 | 看百度蜘蛛實際抓到的內容;每周 70 次,只顯示前 200KB | 搜尋學堂文章(2020-08-06),數字未逐項核對 |
快速抓取的權益怎麼拿,2020 年那篇文章寫的是成為資源平台 VIP 合作夥伴會自動獲得,或通過平台活動獲得;現在的條件我們沒有登入核對,未核實。
獨立開發者現在能做什麼?
1. 先確認沒有攔住 Baiduspider
檢查 robots.txt 和 CDN 的機器人規則。不要寫「只放行 Google」的規則;參考寫法:
# Let Baiduspider in; keep private paths out User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://your-site.com/sitemap.xml
寫法細節見 AI 爬蟲的 robots.txt 怎麼寫?。
2. 在百度搜尋資源平台添加網站,並用 Robots 工具核對
如果你寫過 Allow 在 Disallow 之後的規則,用這個工具確認百度的解析結果。
3. 提交 sitemap,用單個檔案
官方文章寫明索引型 sitemap 不處理,所以把網址列在單個 sitemap 裡;有新頁時用普通收錄的 API 推送。官方不保證收錄。
4. 正文直接寫在 HTML 裡
官方只寫了渲染抓取會訪問 CSS 和 JavaScript,沒有寫執行範圍,所以價格、功能、一句話介紹在沒有腳本時也要看得到,原因見 AI 爬蟲會執行 JavaScript 嗎?。
5. 目標使用者用中文提問就做獨立網址的中文頁
中文頁要有自己的網址、中文標題和描述,多語言寫法見 多語言網站怎麼寫 hreflang?AI 搜尋怎麼處理?。這是推斷:百度沒有寫文心怎麼處理多語言頁面。
6. 在百度 AI 搜尋和文小言裡自己問三次
同一個問題問三次,記下有沒有提到你、引用了哪些網頁,方法見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。
別家的中文模型見 怎麼讓豆包和 Kimi 推薦我的產品? 和 怎麼讓通義千問(Qwen)推薦我的產品?;韓國市場的對應文章見 怎麼讓 Naver(네이버)推薦我的產品?。
常見問題
百度文心一言的回答用的是百度搜尋的網頁嗎?
百度官方沒有寫。資源平台的「AI流量分析」公告提到網站內容在 AI 中的引用和曝光,但沒有說明文心怎麼取網頁,未核實。
文心有自己的爬蟲嗎?
我們沒有找到官方公布的專用爬蟲名稱,未核實。官方公布的是 Baiduspider/2.0 和 Baiduspider-render/2.0。
robots.txt 攔掉 Baiduspider,會怎樣?
百度幫助頁寫明被封鎖的頁面不會被抓取、收錄或展示,但被別的站連結時仍可能出現,摘要來自別人的描述。
提交 sitemap 能保證被收錄嗎?
不能。官方說明不保證一定收錄;sitemap 還有配額,索引型 sitemap 不處理。
百度的 robots.txt 規則和 Google 一樣嗎?
不完全一樣。百度幫助頁寫明 Allow 和 Disallow 按順序從上往下匹配,匹配到就執行,用 Robots 工具核對。
「AI流量分析」現在能用嗎?
2026-09-15 的公告寫明正在分階段開放,資料服務尚未正式啟用,暫無法展示完整資料。我們沒有登入核對現在的狀態,未核實。
要不要做百度專用的中文頁?
如果目標使用者用中文提問,建議做獨立網址的中文頁。這是推斷,百度沒有寫它怎麼處理多語言頁面。
怎麼知道有沒有被文心推薦?
開聯網搜尋,同一個問題問三次,記下有沒有提到你和引用了哪些網頁;官方沒有公布排序方式,回答每次也不一樣。
出處
- 百度搜尋資源平台 · AI流量分析功能上线公告(2026-09-15) (2026-11-12 讀原文)
- 百度搜尋資源平台 · 新版Baiduspider移动ua升级公告(2015-08-11) (2026-11-12 讀原文)
- 百度搜尋資源平台 · 百度Spider新增渲染抓取UA公告(2017-03-24) (2026-11-12 讀原文)
- 百度搜尋資源平台 · 关于升级平台「快速收录」工具的通知(2024-04-24) (2026-11-12 讀原文)
- 百度搜尋資源平台 · 关于回收网站提交配额的通知(2023-09-22) (2026-11-12 讀原文)
- 百度搜尋資源平台 · 详解平台工具的使用和常见问题(2020-08-06) (2026-11-12 讀原文,數字可能已變)
- 百度幫助中心 · Baiduspider Help Center: How to block the crawling (2026-11-12 讀原文,頁面沒有更新日期)
- 百度搜尋資源平台 · Robots 工具说明(未登录可见部分) (查看於 2026-11-12)
- kagentx · robots.txt (2026-11-12 抓取)
- MochiStamp · robots.txt (2026-11-12 抓取)
- Gamma AI Slide · robots.txt (2026-11-12 抓取)
- Pagent · robots.txt (2026-11-12 抓取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。