Meta 有哪些爬虫,各管什么?
五个,其中和 Meta AI 回答直接相关的是 meta-webindexer 和 meta-externalfetcher。下表来自 Meta 开发者官方的爬虫页(2026-11-07 打开核对,页面没有写日期):
| User-Agent | 官方写的用途 | robots.txt |
|---|---|---|
| meta-webindexer/1.1 | 分析网页内容,改进 Meta AI 搜索结果的质量;放行有助于 Meta 在回答里引用并链接你的内容 | 页面没写是否绕过 |
| meta-externalfetcher/1.1 | 用户请求某个链接时抓取,支持代理式功能(帮 AI 在网站上完成任务) | 页面写:可能绕过 robots.txt |
| meta-externalagent/1.1 | 抓取网页,训练基础 AI 模型,或直接建索引来改进产品 | 页面没写是否绕过 |
| meta-externalads/1.1 | 抓取网页,用于广告和其他商业产品与服务 | 页面没写是否绕过 |
| facebookexternalhit/1.1 | 抓取在 Facebook、Instagram、Messenger 上分享的链接,生成标题、描述、缩略图 | 页面写:做安全或完整性检查时可能绕过 |
官方页没有给 IP 列表或 ASN,只说按 IP 放行比按 User-Agent 更可靠。robots.txt 的改动可能要最多 24 小时才生效。各家爬虫并排对照见 AI 爬虫 User-Agent 对照表。
Meta AI 的网页结果来自哪家搜索引擎?
2024 年的报道说是 Google 和 Bing。Search Engine Journal 在 2024-04-18 的文章里报道:Meta 宣布其 AI 助手(当时由 Llama 3 驱动)加入 Google 和 Bing 的实时搜索结果,按查询选其中一家;作者自己测试只触发到 Bing,也不清楚怎么选。我们没有打开 Meta 的原始公告,这是 2024 年的说法,现在是否变化也未核实,Meta 官方文档里没有写怎么排序来源。
实际含义是:不管 Meta 自己的爬虫怎么样,你的页面先要能进 Google 和 Bing 的索引。做法见 新站怎么用 Google Search Console 和 Bing Webmaster Tools 怎么用。
robots.txt 怎么写,Meta AI 才读得到?
没有任何针对它们的规则、也没有整站禁止时,什么都不用写。想明确写出来,就放行和回答有关的两个。
User-agent: meta-webindexer Allow: / User-agent: meta-externalfetcher Allow: /
meta-externalagent 是另一回事:官方写它用于训练基础模型或建索引。要不要放行取决于你对训练用途的态度,两个选择的取舍见 AI 爬虫的 robots.txt 怎么写。注意不要因为想拦训练用途,误写成整站禁止所有 meta- 开头的名字,那样 meta-webindexer 也进不来。
怎么确认 Meta 的爬虫真的来过?
1. 在服务器日志里数一下
下面这条命令统计 nginx 日志里各个 Meta 爬虫的请求数。更多命令和核对 IP 的方法见 怎么在服务器日志里查 AI 爬虫来过没有。
# Count requests from Meta crawlers in an nginx access log grep -i -E "meta-webindexer|meta-externalagent|meta-externalfetcher|facebookexternalhit" /var/log/nginx/access.log \ | awk -F'"' '{print $6}' | grep -o -i -E "meta-[a-z]+|facebookexternalhit" | sort | uniq -c | sort -rn2. 看防火墙有没有另外拦截
robots.txt 写对了不等于进得来。防火墙或 CDN 的机器人拦截在 robots.txt 之外拦住它,meta-externalfetcher 尤其如此,因为它可能不看 robots.txt。
3. 不要只靠 User-Agent 认人
User-Agent 可以被伪造。Meta 官方页没有给 IP 列表,所以日志里的数字只能说明有请求自称是这些爬虫。
页面怎么写,才更可能被 Meta AI 引用?
官方没有给排序规则,所以下面是对所有 AI 搜索都成立的基本功:
| 要做的 | 为什么 | 看哪篇 |
|---|---|---|
| 页面先被 Google 和 Bing 收录 | 2024 年报道的网页结果来自这两家 | 见 Search Console 和 Bing Webmaster Tools 两篇 |
| 正文直接写在 HTML 里,开头直接回答 | 爬虫现场读页面,等脚本才出现的内容读不到 | 见 怎么写出 AI 愿意引用的内容 |
| 社交平台上的内容链接回自己的网站 | 要被引用的内容放在自己能控制的页面 | 见 AI 回答会引用 X 和 LinkedIn 上的帖子吗 |
对应的文章:怎么写出 AI 愿意引用的内容?改写前后对照、AI 回答会引用 X 和 LinkedIn 上的帖子吗?、怎么衡量 AI 可见度?四个指标和一张可照做的表。
怎么知道 Meta AI 有没有提到我?
1. 写下 5 个买家会问的问题
不带你的品牌名,按买家的说法写。
2. 在 Meta AI 里每个问题问 3 次
记下有没有提到你、推荐了谁、给出的链接是哪些。Meta AI 的使用入口和可用地区各不相同,我们没有核实,按你能用到的入口测。
3. 两到四周后用同一组问题再测
记录方法见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
和其他 AI 助手有什么不同?
Meta 的特点是爬虫分得细:搜索用的、训练用的、用户请求时才来的是不同名字。其他助手见:怎么让 ChatGPT 推荐我的产品、怎么让 Google Gemini 推荐我的产品、怎么让 Microsoft Copilot 推荐我的产品、怎么让 Grok 推荐我的产品。
常见问题
Meta AI 用哪家搜索引擎?
2024-04-18 的报道称,Meta 宣布其 AI 助手加入 Google 和 Bing 的实时搜索结果,按查询选其中一家。这是 2024 年的说法,现在是否有变化我们未核实。
meta-webindexer 是干什么的?
Meta 官方爬虫页写的是:分析网页内容,改进 Meta AI 搜索结果的质量,放行它有助于 Meta 在回答里引用并链接你的内容。
meta-externalagent 会拿我的内容训练模型吗?
官方页写它抓取网页是为了训练基础 AI 模型,或者直接建索引来改进产品。想拦训练用途,按官方给的做法在 robots.txt 里对它加 Disallow;它和 Meta AI 搜索结果用的 meta-webindexer 是两个名字。
meta-externalfetcher 会遵守 robots.txt 吗?
官方页写的是它可能绕过 robots.txt。它在用户让 Meta AI 打开某个链接时才来,所以要让这类请求读到页面,靠的是别在防火墙里把它挡住。
Meta 公布了爬虫的 IP 列表吗?
我们读到的官方页没有给 IP 列表或 ASN,只说按 IP 放行比按 User-Agent 更可靠。IP 列表的位置我们未核实。
出处
- Meta · Meta Web Crawlers (2026-11-07 打开核对,页面未写日期)
- Search Engine Journal · Meta integrates Google and Bing search results into its AI assistant (2024-04-18 发表,2026-11-07 阅读)
- kagentx 评测:案例页的数据,日期写在每个例子里。