Meta 有哪些爬蟲,各管什麼?
五個,其中和 Meta AI 回答直接相關的是 meta-webindexer 和 meta-externalfetcher。下表來自 Meta 開發者官方的爬蟲頁(2026-11-07 開啟查證,頁面沒有標日期):
| User-Agent | 官方寫的用途 | robots.txt |
|---|---|---|
| meta-webindexer/1.1 | 分析網頁內容,改進 Meta AI 搜尋結果的品質;放行有助於 Meta 在回答裡引用並連結你的內容 | 頁面沒寫是否繞過 |
| meta-externalfetcher/1.1 | 使用者要求某個連結時擷取,支援代理式功能(幫 AI 在網站上完成任務) | 頁面寫:可能繞過 robots.txt |
| meta-externalagent/1.1 | 擷取網頁,訓練基礎 AI 模型,或直接建立索引來改進產品 | 頁面沒寫是否繞過 |
| meta-externalads/1.1 | 擷取網頁,用於廣告和其他商業產品與服務 | 頁面沒寫是否繞過 |
| facebookexternalhit/1.1 | 擷取在 Facebook、Instagram、Messenger 上分享的連結,產生標題、描述、縮圖 | 頁面寫:做安全或完整性檢查時可能繞過 |
官方頁沒有給 IP 清單或 ASN,只說依 IP 放行比依 User-Agent 更可靠。robots.txt 的變更最多可能要 24 小時才生效。各家爬蟲並排對照見 AI 爬蟲 User-Agent 對照表。
Meta AI 的網頁結果來自哪家搜尋引擎?
2024 年的報導說是 Google 和 Bing。Search Engine Journal 在 2024-04-18 的文章裡報導:Meta 宣布其 AI 助理(當時由 Llama 3 驅動)加入 Google 和 Bing 的即時搜尋結果,依查詢選其中一家;作者自己測試只觸發到 Bing,也不清楚怎麼選。我們沒有開啟 Meta 的原始公告,這是 2024 年的說法,現在是否變化也未查證,Meta 官方文件裡沒有寫怎麼排序來源。
實際含義是:不管 Meta 自己的爬蟲怎麼樣,你的頁面先要能進 Google 和 Bing 的索引。做法見 新站怎麼用 Google Search Console 和 Bing Webmaster Tools 怎麼用。
robots.txt 怎麼寫,Meta AI 才讀得到?
沒有任何針對它們的規則、也沒有整站禁止時,什麼都不用寫。想明確寫出來,就放行和回答有關的兩個。
User-agent: meta-webindexer Allow: / User-agent: meta-externalfetcher Allow: /
meta-externalagent 是另一回事:官方寫它用於訓練基礎模型或建立索引。要不要放行取決於你對訓練用途的態度,兩個選擇的取捨見 AI 爬蟲的 robots.txt 怎麼寫。注意不要因為想擋訓練用途,誤寫成整站禁止所有 meta- 開頭的名稱,那樣 meta-webindexer 也進不來。
怎麼確認 Meta 的爬蟲真的來過?
1. 在伺服器日誌裡數一下
下面這條指令統計 nginx 日誌裡各個 Meta 爬蟲的請求數。更多指令和核對 IP 的方法見 怎麼在伺服器日誌裡查 AI 爬蟲來過沒有。
# Count requests from Meta crawlers in an nginx access log grep -i -E "meta-webindexer|meta-externalagent|meta-externalfetcher|facebookexternalhit" /var/log/nginx/access.log \ | awk -F'"' '{print $6}' | grep -o -i -E "meta-[a-z]+|facebookexternalhit" | sort | uniq -c | sort -rn2. 看防火牆有沒有另外封鎖
robots.txt 寫對了不等於進得來。防火牆或 CDN 的機器人封鎖會在 robots.txt 之外擋住它,meta-externalfetcher 尤其如此,因為它可能不看 robots.txt。
3. 不要只靠 User-Agent 認人
User-Agent 可以被偽造。Meta 官方頁沒有給 IP 清單,所以日誌裡的數字只能說明有請求自稱是這些爬蟲。
頁面怎麼寫,才更可能被 Meta AI 引用?
官方沒有給排序規則,所以下面是對所有 AI 搜尋都成立的基本功:
| 要做的 | 為什麼 | 看哪篇 |
|---|---|---|
| 頁面先被 Google 和 Bing 收錄 | 2024 年報導的網頁結果來自這兩家 | 見 Search Console 和 Bing Webmaster Tools 兩篇 |
| 正文直接寫在 HTML 裡,開頭直接回答 | 爬蟲當場讀頁面,等腳本才出現的內容讀不到 | 見 怎麼寫出 AI 願意引用的內容 |
| 社群平台上的內容連結回自己的網站 | 要被引用的內容放在自己能控制的頁面 | 見 AI 回答會引用 X 和 LinkedIn 上的貼文嗎 |
對應的文章:怎麼寫出 AI 願意引用的內容?改寫前後對照、AI 回答會引用 X 和 LinkedIn 上的貼文嗎?、怎麼衡量 AI 可見度?四個指標與一張可照做的表。
怎麼知道 Meta AI 有沒有提到我?
1. 寫下 5 個買家會問的問題
不帶你的品牌名,按買家的說法寫。
2. 在 Meta AI 裡每個問題問 3 次
記下有沒有提到你、推薦了誰、給出的連結是哪些。Meta AI 的使用入口和可用地區各不相同,我們沒有查證,按你能用到的入口測。
3. 兩到四週後用同一組問題再測
記錄方法見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。
和其他 AI 助理有什麼不同?
Meta 的特點是爬蟲分得細:搜尋用的、訓練用的、使用者要求時才來的是不同名稱。其他助理見:怎麼讓 ChatGPT 推薦我的產品、怎麼讓 Google Gemini 推薦我的產品、怎麼讓 Microsoft Copilot 推薦我的產品、怎麼讓 Grok 推薦我的產品。
常見問題
Meta AI 用哪家搜尋引擎?
2024-04-18 的報導稱,Meta 宣布其 AI 助理加入 Google 和 Bing 的即時搜尋結果,依查詢選其中一家。這是 2024 年的說法,現在是否有變化我們未查證。
meta-webindexer 是做什麼的?
Meta 官方爬蟲頁寫的是:分析網頁內容,改進 Meta AI 搜尋結果的品質,放行它有助於 Meta 在回答裡引用並連結你的內容。
meta-externalagent 會拿我的內容訓練模型嗎?
官方頁寫它擷取網頁是為了訓練基礎 AI 模型,或者直接建立索引來改進產品。想擋訓練用途,按官方給的做法在 robots.txt 裡對它加 Disallow;它和 Meta AI 搜尋結果用的 meta-webindexer 是兩個名稱。
meta-externalfetcher 會遵守 robots.txt 嗎?
官方頁寫的是它可能繞過 robots.txt。它在使用者要 Meta AI 開啟某個連結時才來,所以要讓這類請求讀到頁面,靠的是別在防火牆裡把它擋住。
Meta 公布了爬蟲的 IP 清單嗎?
我們讀到的官方頁沒有給 IP 清單或 ASN,只說依 IP 放行比依 User-Agent 更可靠。IP 清單的位置我們未查證。
出處
- Meta · Meta Web Crawlers (2026-11-07 開啟查證,頁面未標日期)
- Search Engine Journal · Meta integrates Google and Bing search results into its AI assistant (2024-04-18 發表,2026-11-07 閱讀)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。