Applebot 和 Applebot-Extended 分別管什麼?
Applebot 是抓取網頁的爬蟲,Applebot-Extended 只是 robots.txt 裡的一個標記。以下是 Apple 官方頁 About Applebot(2026-11-09 開啟核對,頁面標註發布日期 2026-09-04)的重點:
| 名稱 | Apple 官方頁怎麼寫 | 對你意味著 |
|---|---|---|
| Applebot | 抓取的資料用來支援 Spotlight、Siri、Safari 裡的搜尋技術;在 robots.txt 裡放行它,網站內容才可能出現在 Apple 使用者的搜尋結果裡 | 想被 Apple 的搜尋找到,先別攔它 |
| Applebot 的資料用於訓練 | 這些資料也可能用來幫助訓練 Apple 的基礎模型,包括 Apple Intelligence | 不想讓內容進訓練,用 Applebot-Extended |
| Applebot 的資料用於回答 | 資料可能在 AI 模型產生輸出時提供額外背景和最新內容,例如 Siri 和 Search 裡回答寬泛的世界知識問題,可能附來源連結 | 這是 Siri 網頁回答的官方說法,具體選哪些頁面沒寫 |
| Applebot-Extended | 次要的 User-Agent:不抓取網頁,只決定 Applebot 抓到的資料能不能用於訓練;disallow 它的頁面仍可出現在搜尋結果裡;它的規則不參與 Search 排名 | 攔它只影響訓練,不影響被搜尋到 |
各家 AI 爬蟲的名字和用途對照見 AI 爬蟲 User-Agent 對照表。
攔了 Applebot-Extended,還能被 Siri 和 Spotlight 搜尋到嗎?
能。Apple 官方頁的原意是:即使 disallow 了 Applebot-Extended,又給內容加了 nosnippet,網站的規則仍可能允許 Applebot 抓取頁面,內容仍可透過 Spotlight、Siri、Safari 找到。真正決定能不能被搜尋到的是 Applebot 能不能抓,以及頁面有沒有 noindex。
| 你做的事 | 訓練 | Siri 等回答裡的背景內容 | 能被 Spotlight、Siri、Safari 搜尋到 |
|---|---|---|---|
| 什麼都不寫 | 可能用於 | 可能用到 | 能 |
| disallow Applebot-Extended | 退出 | 仍可能用到(官方頁分開寫) | 能 |
| 頁面加 nosnippet | 不變 | 不用;建議裡只顯示標題 | 能 |
| 頁面加 noindex | 不變 | 不出現 | 不出現在 Spotlight 和 Siri 建議裡 |
| disallow Applebot | 抓不到 | 抓不到 | 官方頁沒有逐行寫後果,按「抓不到」理解,未核實更細的情形 |
這張表前四行來自官方頁的文字,最後一行是我們的理解:官方頁寫的是「放行 Applebot 才可能出現在搜尋結果裡」。
robots.txt 該怎麼寫?
想被推薦,什麼都不用寫;只想退出訓練時才加 Applebot-Extended。寫法如下:
# Default: say nothing about Applebot. Apple's page says that if robots.txt # does not mention Applebot but does mention Googlebot, Applebot follows the Googlebot rules. # Opt out of training only (Apple: Applebot-Extended does not crawl pages) User-agent: Applebot-Extended Disallow: / # Keep Applebot itself allowed so pages can still appear in Spotlight, Siri and Safari User-agent: Applebot Allow: /
三點要注意:
1. 沒寫 Applebot,但寫了 Googlebot
Apple 官方頁寫明這時 Applebot 按 Googlebot 的規則走。所以給 Googlebot 加的 Disallow 也會管到 Applebot。
2. 不要攔腳本和樣式
官方頁寫:Applebot 可能在瀏覽器裡渲染頁面,JS、CSS、XHR 被 robots.txt 攔住,可能渲染不好。是否執行腳本的整體情況見 AI 爬蟲會執行 JavaScript 嗎?。
3. 不認 crawl-delay
官方頁寫明 Applebot 不遵守 crawl-delay,它會在網站變慢或報錯時自己降低抓取速度。
只想讓某個頁面不被用在回答裡,用 nosnippet:
<!-- One page: no description or web answer is generated for it. Apple: the page then shows only its title. --> <meta name="robots" content="nosnippet"> # Same thing as an HTTP header, for PDFs and other non-HTML files X-Robots-Tag: applebot: nosnippet
Apple 官方頁寫明 nosnippet 的代價:Applebot 不再為這個頁面產生描述或網頁答案,建議裡只顯示標題。想被推薦的頁面不要加。通用寫法和其他爬蟲見 AI 爬蟲的 robots.txt 怎麼寫?。
我們四個網站的 robots.txt 點名 Applebot 了嗎?
都沒有點名,也沒有點名 Googlebot,所以走預設的 User-agent: * 規則。2026-11-09 我們用 curl 讀了四個自家網站的 robots.txt,又分別用一般瀏覽器標識和 Applebot 的 User-Agent 字串取首頁:
| 網站 | robots.txt | 點名 Applebot 或 Googlebot | * 規則裡被禁的路徑 | 首頁(一般 / Applebot UA) |
|---|---|---|---|---|
| mochistamp.com | 200 | 沒有 | /api/(放行 /api/content.js 和 /api/strings/)、/files/、/admin.html | 200 / 200 |
| gammaslide.com | 200 | 沒有 | /d/、/decks、/account、/admin | 200 / 200 |
| kagentx.com | 200 | 沒有 | /admin.html、/candidates.html、/api/(其余 Allow: /) | 200 / 200 |
| pagent.kagentx.com | 200 | 沒有 | /i18n/ | 200 / 200 |
讀法:被禁的都是後台、介面和帳號頁,文章頁、產品頁沒被禁。這只是 robots.txt 文字和 User-Agent 字串的檢查,不是 Apple 真實爬蟲的行為:我們的網路在中國大陸,IP 不在 Apple 的範圍內,也沒有在真機的 Siri 或 Spotlight 裡搜過這四個網站,所以「能不能被搜尋到」我們沒有核實。查自己網站的指令:
# Does robots.txt mention Applebot or Googlebot?
curl -s https://example.com/robots.txt | grep -i -B1 -A3 -E "applebot|googlebot"
# Does the page answer the Applebot User-Agent?
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)" https://example.com/page/
確認真實 Applebot 有沒有來過,要看伺服器日誌,Apple 官方頁給了反向 DNS(*.applebot.apple.com)和公開 IP 段兩種驗證方式,日誌裡的查法見 怎麼查 GPTBot 等 AI 爬蟲有沒有來過我的網站?。
Siri 的網頁回答從哪來?
官方只說了一半。Apple 官方頁寫的是:Applebot 抓到的資料可能為 AI 模型的輸出提供背景和最新內容,例如 Siri 和 Search 回答寬泛的世界知識問題時,可能附上用到的來源連結。哪些頁面被選中、用哪家搜尋服務、怎麼排序,這一頁沒有寫,我們未核實。
另一條路徑是 ChatGPT。Apple 的「Turn on ChatGPT on iPhone」頁寫:在「設定 > Siri」裡開啟 ChatGPT 擴充功能後,Apple Intelligence 才會配合 OpenAI 的 ChatGPT;使用者可以選擇傳送前確認,並按頁面說明,請求會傳送給 ChatGPT 來回答。這一路徑下的推薦規則就是 ChatGPT 自己的,見 怎麼讓 ChatGPT 推薦我的產品?。頁面還寫明 Apple Intelligence 在中國大陸不可用,地區和語言以 Apple 官方頁為準。
Apple 官方頁列了搜尋排名可能參考的五項,寫明沒有預先確定的權重:
| 官方頁列的因素 | 你能做的 |
|---|---|
| 使用者對搜尋結果的聚合互動 | 標題和描述寫清楚,讓點進來的人得到答案 |
| 搜尋詞與頁面主題、內容的相關性 | 一頁一個主題,正文直接回答問題 |
| 來自其他網頁的連結數量和品質 | 被真實的文章、目錄、社群提到,見 品牌提及比外鏈對 AI 搜尋更重要嗎?兩項研究怎麼說 |
| 使用者大致位置 | 沒有可做的;多語言網站要讓每種語言的頁面都能被抓到 |
| 頁面設計特徵 | 官方頁沒有展開,我們未核實具體指什麼 |
怎麼檢查自己的網站對 Apple 的搜尋可見?
1. 確認沒有攔 Applebot
跑上面的 curl,robots.txt 裡沒有對 Applebot 或 Googlebot 的 Disallow 蓋住你的內容頁。
2. 確認頁面沒有 noindex
看頁面 head 裡的 robots meta 和回應標頭裡的 X-Robots-Tag。Apple 官方頁寫 noindex 的頁面不會出現在 Spotlight 和 Siri 建議裡。
3. 正文直接寫在 HTML 裡
4. 在 iPhone 或 Mac 上搜幾次
用買家的問題問 Siri、在 Spotlight 裡搜品牌名,記下有沒有你。Apple Intelligence 的可用地區和語言有限,以 Apple 官方頁為準;記錄方法見 怎麼衡量 AI 可見度?四個指標與一張可照做的表。
5. 看日誌裡 Applebot 來過沒有
日誌裡搜 Applebot,指令見 怎麼查 GPTBot 等 AI 爬蟲有沒有來過我的網站?。
常見問題
Applebot-Extended 的 User-Agent 是什麼?
沒有單獨的抓取身分。Apple 官方頁寫明 Applebot-Extended 不抓取網頁,只用來決定 Applebot 抓到的資料能不能用於訓練。所以伺服器日誌裡要找的是 Applebot,不是 Applebot-Extended。
攔了 Applebot-Extended,還能被 Siri 和 Spotlight 搜尋到嗎?
能。Apple 官方頁寫的是:disallow Applebot-Extended 的頁面仍可出現在搜尋結果裡,Applebot-Extended 的規則不參與 Search 排名;即使再加上 nosnippet,內容仍可透過 Spotlight、Siri 和 Safari 找到。
怎麼讓某個頁面不被用在 Siri 的回答裡?
Apple 官方頁給的辦法是對具體內容加 nosnippet(meta 標籤或 X-Robots-Tag)。代價也寫明了:Applebot 不再為該頁產生描述或網頁答案,建議裡只顯示標題。想被推薦的頁面不要加。
Siri 的網頁回答用的是哪家搜尋?
Apple 官方頁沒有寫,我們未核實。能確認的只有它寫的兩點:Applebot 的資料支援 Siri 等產品裡的搜尋,也可能在回答寬泛的世界知識問題時提供背景並附來源連結。
能向 Apple 提交網址嗎?
Apple 的 Applebot 頁沒有寫提交網址的方法,只給了聯絡信箱 applebot@apple.com。能做的是讓網站對 Applebot 可抓取,並有正常的內部連結和 sitemap。
出處
- Apple · About Applebot (查看於 2026-11-09,頁面標註發布日期 2026-09-04)
- Apple · Turn on ChatGPT on iPhone (查看於 2026-11-09)
- kagentx · kagentx.com/robots.txt (2026-11-09 讀取)
- MochiStamp · mochistamp.com/robots.txt (2026-11-09 讀取)
- Gamma AI Slide · gammaslide.com/robots.txt (2026-11-09 讀取)
- Pagent · pagent.kagentx.com/robots.txt (2026-11-09 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。