Naver 的爬虫叫什么?怎么确认是真的?
普通检索机器人叫 Yeti。Naver Search Advisor 的指南(2026-11-12 读原文,页面没有日期)写了两种 User-Agent,细节版本号会不预告地变:
Mozilla/5.0 (compatible; Yeti/1.1; +https://naver.me/spd)
| 机器人 | 官方说法 | 怎么处理 |
|---|---|---|
| Yeti | 为 Naver 检索收集网页的普通检索机器人;取 JavaScript 等资源时 UA 里也带 Yeti | robots.txt 用 User-agent: Yeti |
| Ads-Naver | 收集广告主页面信息,用于更有效的广告展示 | 特殊用途,官方说可能不完全遵守 robots.txt |
| Blueno | 博客编辑器插入链接时收集预览 | 特殊用途,同上 |
确认来访者是不是 Naver:对服务器日志里的 IP 做反向 DNS 解析,域名应以 .naver.com 结尾(官方示例是 crawl.125-209-235-169.web.naver.com),再对这个域名正向解析,结果要回到原来的 IP;也可以对照官方的 IP 范围列表,列表会变动。官方还提醒不要按 IP 封禁,用 robots.txt。
Naver 怎么处理 robots.txt?各种响应码有什么后果?
| 情况 | Naver 官方的处理 |
|---|---|
| 没有 robots.txt | 视为全部可以收集 |
| 返回 2xx | 按标准解析;如果返回的是 HTML 文档,即使里面有规则,也可能被当成没有 robots.txt、全部允许 |
| 3xx 跳转 | 最多跟 5 次,超过就停止并按全部允许;HTML 和 JavaScript 跳转不解析 |
| 4xx | 按全部允许 |
| 5xx | 按全部不允许;之前正常收集过规则的话暂时沿用旧规则 |
| 作用范围 | 只对同一主机、协议和端口有效:example.com 的规则不管 www.example.com |
| JavaScript 和 CSS | 路径要和网页用同一规则,否则可能解析出和你意图不同的页面 |
要特别注意 5xx:Naver 把服务器错误当成「全部不允许」。网站做维护或被 CDN 限流时,先看 robots.txt 有没有返回 5xx。写法见 AI 爬虫的 robots.txt 怎么写?。
我们自己四个站的 robots.txt 对 Yeti 怎么设?
| 站点 | robots.txt 的规则(2026-11-12 curl,都是 200) | 对 Yeti |
|---|---|---|
| kagentx.com | User-agent * Allow: /;只禁 /admin.html、/candidates.html、/api/ | 允许 |
| mochistamp.com | * 组禁 /api/(后面再 Allow /api/content.js 和 /api/strings/)、/files/、/admin.html | 首页允许 |
| gammaslide.com | * 组禁 /d/、/decks、/account、/admin | 允许 |
| pagent.kagentx.com | * 组只禁 /i18n/ | 允许 |
四个站都没有点名 Yeti。用 Python 的 robots.txt 解析器按文字算,Yeti 访问四个首页都是允许。这不是 Yeti 的真实访问,我们没有核实服务器日志里有没有 Yeti。另外四个站目前都没有韩语页面,Naver 的用户主要用韩语搜索,所以就算通过了收录检查,也不等于韩语用户搜得到。
怎么把网站交给 Naver?
1. 在 Search Advisor 注册站点并验证所有权
官方说明站点要先在网页管理员工具里注册并验证,方式是在 HTML 里加 meta 标签或上传一个 HTML 文件。站点的主页面不能用 JavaScript 或 meta refresh 跳转,要用 HTTP 跳转;注册时协议、是否带 www、端口都要和实际一致,不一致会当成另一个站点。
2. 放行 Yeti 并检查防火墙
参考写法:
# Let Naver's crawler in; keep private paths out User-agent: Yeti Allow: / Disallow: /admin/ User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://your-site.com/sitemap.xml
WAF、CDN 的机器人规则也要看一眼;官方写明不要按 IP 封禁。
3. 提交 sitemap 和 RSS
在工具的「要求」菜单里提交 XML sitemap 和 RSS 订阅源;官方说明最新内容放进 RSS 并带上正文。
4. 用 IndexNow 通知更新
Naver 的指南写明支持 IndexNow:新建、更新、删除页面后直接通知,不用等机器人来;不保证索引。原理见 IndexNow 是什么?和 AI 搜索有关系吗?;官方还写明更新信息会共享给其他搜索引擎,Bing 一侧的设置见 Bing Webmaster Tools 怎么设置?导入、sitemap、IndexNow 一步步来。
5. 个别网址用「收集请求」
官方说明这个功能每个站点有限额,按优先级处理,最少 1 天到数周,收集成功也不保证展示,不用每天重复提交同一个网址。
6. 正文直接写在 HTML 里
官方说明支持单页应用,但解析 JavaScript 要多几倍的资源,建议主要区域服务端渲染;带 # 的网址会被去掉 # 之后的部分,每个独立内容要有自己的网址。其他 AI 爬虫的情况见 AI 爬虫会执行 JavaScript 吗?。
如果是软件或应用类的产品,Naver 的指南也写了 SoftwareApplication 标记(name、applicationCategory 必填,operatingSystem、url、screenshot、description 可选),同时写明不保证按它展示;写法见 SaaS 要不要加 SoftwareApplication 结构化数据?。
Naver 的 AI 简报会引用我的网站吗?
我们没有拿到 Naver 官方介绍 AI 简报(AI 브리핑)的页面,下面都是第三方说法,未核实:第三方 GEO 服务商的文章说它基于检索系统收集的网页,由 AI 分析后给出答案和出处,并且 Naver 不公开出处的选择算法。如果这个说法成立,被 Naver 收集是被引用的前提,所以前面几步仍然是第一步。官方说明的是网页收集和索引,没有承诺会进入 AI 简报。
另一个要做的是韩语内容。多语言页面写法见 多语言网站怎么写 hreflang?AI 搜索怎么处理?,同样是区域引擎的情形可参考 怎么让百度文心(文心一言、文小言、百度 AI 搜索)推荐我的产品? 和 怎么让 Yandex Alice(Алиса)推荐我的产品?。自己问一问、看有没有提到你,方法见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
常见问题
Naver 的爬虫叫什么,要不要放行?
Yeti。官方指南写明它遵守 robots.txt;要被 Naver 收录就不要拦它,可以在 robots.txt 里单独写 User-agent: Yeti。
怎么确认来访的 Yeti 是真的?
对日志里的 IP 做反向 DNS 解析,域名应以 .naver.com 结尾,再正向解析回原 IP;也可以对照官方的 IP 范围列表,列表会变动。
robots.txt 返回 5xx 会怎样?
官方写明按全部不允许处理,之前正常收集过规则的话暂时沿用旧规则。所以维护期间也要让 robots.txt 返回 2xx。
提交收集请求后多久能收录?
官方写明按优先级处理,最少 1 天到数周,收集成功也不保证展示,不用每天重复提交。机器人访问后最多 1 周内反映到搜索(Search Advisor 指南)。
Naver 支持 IndexNow 吗?
支持。官方指南写明可以通知新建、更新、删除的页面,不保证索引。
单页应用 Naver 能读吗?
官方说明支持,但解析 JavaScript 要多几倍的资源,建议主要区域服务端渲染;带 # 的网址会被去掉 # 之后的部分。
AI 简报怎么选出处?
我们没有找到 Naver 官方的说明,第三方文章称不公开算法,未核实。能做的是先确保被收集,再自己问几次、看有没有被引用。
没有韩语页面也能被 Naver 收录吗?
收录和语言是两件事:官方指南没有要求特定语言,但 Naver 的用户主要用韩语搜索,没有韩语页面就很难被他们搜到。后一句是推断。
出处
- Naver Search Advisor · robots.txt 설정하기 (2026-11-12 读原文,页面没有日期)
- Naver Search Advisor · 검색로봇 확인 방법 (2026-11-12 读原文,页面没有日期)
- Naver Search Advisor · 수집요청 및 검색제외 (2026-11-12 读原文,页面没有日期)
- Naver Search Advisor · RSS 및 사이트맵 제출 (2026-11-12 读原文,页面没有日期)
- Naver Search Advisor · 자바스크립트 검색 최적화 (2026-11-12 读原文,页面没有日期)
- Naver Search Advisor · IndexNow (2026-11-12 读原文,页面没有日期)
- Naver Search Advisor · Software 구조화 데이터 (2026-11-12 读原文,页面没有日期)
- kagentx · robots.txt (2026-11-12 抓取)
- MochiStamp · robots.txt (2026-11-12 抓取)
- Gamma AI Slide · robots.txt (2026-11-12 抓取)
- Pagent · robots.txt (2026-11-12 抓取)
- kagentx 评测:案例页的数据,日期写在每个例子里。