Naver 的爬蟲叫什麼?怎麼確認是真的?
普通檢索機器人叫 Yeti。Naver Search Advisor 的指南(2026-11-12 讀原文,頁面沒有日期)寫了兩種 User-Agent,細節版本號會不預告地變:
Mozilla/5.0 (compatible; Yeti/1.1; +https://naver.me/spd)
| 機器人 | 官方說法 | 怎麼處理 |
|---|---|---|
| Yeti | 為 Naver 檢索收集網頁的普通檢索機器人;取 JavaScript 等資源時 UA 裡也帶 Yeti | robots.txt 用 User-agent: Yeti |
| Ads-Naver | 收集廣告主頁面資訊,用於更有效的廣告展示 | 特殊用途,官方說可能不完全遵守 robots.txt |
| Blueno | 部落格編輯器插入連結時收集預覽 | 特殊用途,同上 |
確認來訪者是不是 Naver:對伺服器日誌裡的 IP 做反向 DNS 解析,網域名稱應以 .naver.com 結尾(官方範例是 crawl.125-209-235-169.web.naver.com),再對這個網域名稱正向解析,結果要回到原來的 IP;也可以對照官方的 IP 範圍列表,列表會變動。官方還提醒不要按 IP 封鎖,用 robots.txt。
Naver 怎麼處理 robots.txt?各種響應碼有什麼後果?
| 情況 | Naver 官方的處理 |
|---|---|
| 沒有 robots.txt | 視為全部可以收集 |
| 返回 2xx | 按標準解析;如果返回的是 HTML 文件,即使裡面有規則,也可能被當成沒有 robots.txt、全部允許 |
| 3xx 跳轉 | 最多跟 5 次,超過就停止並按全部允許;HTML 和 JavaScript 跳轉不解析 |
| 4xx | 按全部允許 |
| 5xx | 按全部不允許;之前正常收集過規則的話暫時沿用舊規則 |
| 作用範圍 | 只對同一主機、協定和連接埠有效:example.com 的規則不管 www.example.com |
| JavaScript 和 CSS | 路徑要和網頁用同一規則,否則可能解析出和你意圖不同的頁面 |
要特別注意 5xx:Naver 把伺服器錯誤當成「全部不允許」。網站做維護或被 CDN 限流時,先看 robots.txt 有沒有返回 5xx。寫法見 AI 爬蟲的 robots.txt 怎麼寫?。
我們自己四個站的 robots.txt 對 Yeti 怎麼設?
| 網站 | robots.txt 的規則(2026-11-12 curl,都是 200) | 對 Yeti |
|---|---|---|
| kagentx.com | User-agent * Allow: /;只禁 /admin.html、/candidates.html、/api/ | 允許 |
| mochistamp.com | * 組禁 /api/(後面再 Allow /api/content.js 和 /api/strings/)、/files/、/admin.html | 首頁允許 |
| gammaslide.com | * 組禁 /d/、/decks、/account、/admin | 允許 |
| pagent.kagentx.com | * 組只禁 /i18n/ | 允許 |
四個站都沒有點名 Yeti。用 Python 的 robots.txt 解析器按文字算,Yeti 訪問四個首頁都是允許。這不是 Yeti 的真實訪問,我們沒有核實伺服器日誌裡有沒有 Yeti。另外四個站目前都沒有韓語頁面,Naver 的使用者主要用韓語搜尋,所以就算通過了收錄檢查,也不等於韓語使用者搜得到。
怎麼把網站交給 Naver?
1. 在 Search Advisor 注冊網站並驗證所有權
官方說明網站要先在網頁管理員工具裡注冊並驗證,方式是在 HTML 裡加 meta 標籤或上傳一個 HTML 檔案。網站的主頁面不能用 JavaScript 或 meta refresh 跳轉,要用 HTTP 跳轉;注冊時協定、是否帶 www、連接埠都要和實際一致,不一致會當成另一個網站。
2. 放行 Yeti 並檢查防火牆
參考寫法:
# Let Naver's crawler in; keep private paths out User-agent: Yeti Allow: / Disallow: /admin/ User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://your-site.com/sitemap.xml
WAF、CDN 的機器人規則也要看一眼;官方寫明不要按 IP 封鎖。
3. 提交 sitemap 和 RSS
在工具的「要求」菜單裡提交 XML sitemap 和 RSS 訂閱源;官方說明最新內容放進 RSS 並帶上正文。
4. 用 IndexNow 通知更新
Naver 的指南寫明支援 IndexNow:新建、更新、刪除頁面後直接通知,不用等機器人來;不保證索引。原理見 IndexNow 是什麼?和 AI 搜尋有關係嗎?;官方還寫明更新資訊會共享給其他搜尋引擎,Bing 一側的設定見 Bing Webmaster Tools 怎麼設定?匯入、sitemap、IndexNow 一步步來。
5. 個別網址用「收集請求」
官方說明這個功能每個網站有限額,按優先級處理,最少 1 天到數周,收集成功也不保證展示,不用每天重複提交同一個網址。
6. 正文直接寫在 HTML 裡
官方說明支援單頁應用程式,但解析 JavaScript 要多幾倍的資源,建議主要區域服務端渲染;帶 # 的網址會被去掉 # 之後的部分,每個獨立內容要有自己的網址。其他 AI 爬蟲的情況見 AI 爬蟲會執行 JavaScript 嗎?。
如果是軟體或應用程式類的產品,Naver 的指南也寫了 SoftwareApplication 標記(name、applicationCategory 必填,operatingSystem、url、screenshot、description 可選),同時寫明不保證按它展示;寫法見 SaaS 要不要加 SoftwareApplication 結構化資料?。
Naver 的 AI 簡報會引用我的網站嗎?
我們沒有拿到 Naver 官方介紹 AI 簡報(AI 브리핑)的頁面,下面都是第三方說法,未核實:第三方 GEO 服務商的文章說它基於檢索系統收集的網頁,由 AI 分析後給出答案和出處,並且 Naver 不公開出處的選擇算法。如果這個說法成立,被 Naver 收集是被引用的前提,所以前面幾步仍然是第一步。官方說明的是網頁收集和索引,沒有承諾會進入 AI 簡報。
另一個要做的是韓語內容。多語言頁面寫法見 多語言網站怎麼寫 hreflang?AI 搜尋怎麼處理?,同樣是區域引擎的情形可參考 怎麼讓百度文心(文心一言、文小言、百度 AI 搜尋)推薦我的產品? 和 怎麼讓 Yandex Alice(Алиса)推薦我的產品?。自己問一問、看有沒有提到你,方法見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。
常見問題
Naver 的爬蟲叫什麼,要不要放行?
Yeti。官方指南寫明它遵守 robots.txt;要被 Naver 收錄就不要攔它,可以在 robots.txt 裡單獨寫 User-agent: Yeti。
怎麼確認來訪的 Yeti 是真的?
對日誌裡的 IP 做反向 DNS 解析,網域名稱應以 .naver.com 結尾,再正向解析回原 IP;也可以對照官方的 IP 範圍列表,列表會變動。
robots.txt 返回 5xx 會怎樣?
官方寫明按全部不允許處理,之前正常收集過規則的話暫時沿用舊規則。所以維護期間也要讓 robots.txt 返回 2xx。
提交收集請求後多久能收錄?
官方寫明按優先級處理,最少 1 天到數周,收集成功也不保證展示,不用每天重複提交。機器人訪問後最多 1 周內反映到搜尋(Search Advisor 指南)。
Naver 支援 IndexNow 嗎?
支援。官方指南寫明可以通知新建、更新、刪除的頁面,不保證索引。
單頁應用程式 Naver 能讀嗎?
官方說明支援,但解析 JavaScript 要多幾倍的資源,建議主要區域服務端渲染;帶 # 的網址會被去掉 # 之後的部分。
AI 簡報怎麼選出處?
我們沒有找到 Naver 官方的說明,第三方文章稱不公開算法,未核實。能做的是先確保被收集,再自己問幾次、看有沒有被引用。
沒有韓語頁面也能被 Naver 收錄嗎?
收錄和語言是兩件事:官方指南沒有要求特定語言,但 Naver 的使用者主要用韓語搜尋,沒有韓語頁面就很難被他們搜到。後一句是推斷。
出處
- Naver Search Advisor · robots.txt 설정하기 (2026-11-12 讀原文,頁面沒有日期)
- Naver Search Advisor · 검색로봇 확인 방법 (2026-11-12 讀原文,頁面沒有日期)
- Naver Search Advisor · 수집요청 및 검색제외 (2026-11-12 讀原文,頁面沒有日期)
- Naver Search Advisor · RSS 및 사이트맵 제출 (2026-11-12 讀原文,頁面沒有日期)
- Naver Search Advisor · 자바스크립트 검색 최적화 (2026-11-12 讀原文,頁面沒有日期)
- Naver Search Advisor · IndexNow (2026-11-12 讀原文,頁面沒有日期)
- Naver Search Advisor · Software 구조화 데이터 (2026-11-12 讀原文,頁面沒有日期)
- kagentx · robots.txt (2026-11-12 抓取)
- MochiStamp · robots.txt (2026-11-12 抓取)
- Gamma AI Slide · robots.txt (2026-11-12 抓取)
- Pagent · robots.txt (2026-11-12 抓取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。