Applebot 和 Applebot-Extended 分别管什么?
Applebot 是抓取网页的爬虫,Applebot-Extended 只是 robots.txt 里的一个标记。下面是 Apple 官方页 About Applebot(2026-11-09 打开核对,页面标注发布日期 2026-09-04)的要点:
| 名称 | Apple 官方页怎么写 | 对你意味着 |
|---|---|---|
| Applebot | 抓取的数据用来支持 Spotlight、Siri、Safari 里的搜索技术;在 robots.txt 里放行它,网站内容才可能出现在 Apple 用户的搜索结果里 | 想被 Apple 的搜索找到,先别拦它 |
| Applebot 的数据用于训练 | 这些数据也可能用来帮助训练 Apple 的基础模型,包括 Apple Intelligence | 不想让内容进训练,用 Applebot-Extended |
| Applebot 的数据用于回答 | 数据可能在 AI 模型生成输出时提供额外背景和最新内容,例如 Siri 和 Search 里回答宽泛的世界知识问题,可能附来源链接 | 这是 Siri 网页回答的官方说法,具体选哪些页面没写 |
| Applebot-Extended | 次要的 User-Agent:不抓取网页,只决定 Applebot 抓到的数据能不能用于训练;disallow 它的页面仍可出现在搜索结果里;它的规则不参与 Search 排名 | 拦它只影响训练,不影响被搜到 |
各家 AI 爬虫的名字和用途对照见 AI 爬虫 User-Agent 对照表。
拦了 Applebot-Extended,还能被 Siri 和 Spotlight 搜到吗?
能。Apple 官方页的原意是:即使 disallow 了 Applebot-Extended,又给内容加了 nosnippet,网站的规则仍可能允许 Applebot 抓取页面,内容仍可通过 Spotlight、Siri、Safari 找到。真正决定能不能被搜到的是 Applebot 能不能抓,以及页面有没有 noindex。
| 你做的事 | 训练 | Siri 等回答里的背景内容 | 能被 Spotlight、Siri、Safari 搜到 |
|---|---|---|---|
| 什么都不写 | 可能用于 | 可能用到 | 能 |
| disallow Applebot-Extended | 退出 | 仍可能用到(官方页分开写) | 能 |
| 页面加 nosnippet | 不变 | 不用;建议里只显示标题 | 能 |
| 页面加 noindex | 不变 | 不出现 | 不出现在 Spotlight 和 Siri 建议里 |
| disallow Applebot | 抓不到 | 抓不到 | 官方页没有逐行写后果,按“抓不到”理解,未核实更细的情形 |
这张表前四行来自官方页的文字,最后一行是我们的理解:官方页写的是“放行 Applebot 才可能出现在搜索结果里”。
robots.txt 该怎么写?
想被推荐,什么都不用写;只想退出训练时才加 Applebot-Extended。写法如下:
# Default: say nothing about Applebot. Apple's page says that if robots.txt # does not mention Applebot but does mention Googlebot, Applebot follows the Googlebot rules. # Opt out of training only (Apple: Applebot-Extended does not crawl pages) User-agent: Applebot-Extended Disallow: / # Keep Applebot itself allowed so pages can still appear in Spotlight, Siri and Safari User-agent: Applebot Allow: /
三点要注意:
1. 没写 Applebot,但写了 Googlebot
Apple 官方页写明这时 Applebot 按 Googlebot 的规则走。所以给 Googlebot 加的 Disallow 也会管到 Applebot。
2. 不要拦脚本和样式
官方页写:Applebot 可能在浏览器里渲染页面,JS、CSS、XHR 被 robots.txt 拦住,可能渲染不好。是否执行脚本的整体情况见 AI 爬虫会执行 JavaScript 吗?。
3. 不认 crawl-delay
官方页写明 Applebot 不遵守 crawl-delay,它会在网站变慢或报错时自己降低抓取速度。
只想让某个页面不被用在回答里,用 nosnippet:
<!-- One page: no description or web answer is generated for it. Apple: the page then shows only its title. --> <meta name="robots" content="nosnippet"> # Same thing as an HTTP header, for PDFs and other non-HTML files X-Robots-Tag: applebot: nosnippet
Apple 官方页写明 nosnippet 的代价:Applebot 不再为这个页面生成描述或网页答案,建议里只显示标题。想被推荐的页面不要加。通用写法和其他爬虫见 AI 爬虫的 robots.txt 怎么写?。
我们四个站的 robots.txt 点名 Applebot 了吗?
都没有点名,也没有点名 Googlebot,所以走默认的 User-agent: * 规则。2026-11-09 我们用 curl 读了四个自家站的 robots.txt,又分别用普通浏览器标识和 Applebot 的 User-Agent 字串取首页:
| 站 | robots.txt | 点名 Applebot 或 Googlebot | * 规则里被禁的路径 | 首页(普通 / Applebot UA) |
|---|---|---|---|---|
| mochistamp.com | 200 | 没有 | /api/(放行 /api/content.js 和 /api/strings/)、/files/、/admin.html | 200 / 200 |
| gammaslide.com | 200 | 没有 | /d/、/decks、/account、/admin | 200 / 200 |
| kagentx.com | 200 | 没有 | /admin.html、/candidates.html、/api/(其余 Allow: /) | 200 / 200 |
| pagent.kagentx.com | 200 | 没有 | /i18n/ | 200 / 200 |
读法:被禁的都是后台、接口和账号页,文章页、产品页没被禁。这只是 robots.txt 文字和 User-Agent 字串的检查,不是 Apple 真实爬虫的行为:我们的网络在中国大陆,IP 不在 Apple 的范围内,也没有在真机的 Siri 或 Spotlight 里搜过这四个站,所以“能不能被搜到”我们没有核实。查自己站的命令:
# Does robots.txt mention Applebot or Googlebot?
curl -s https://example.com/robots.txt | grep -i -B1 -A3 -E "applebot|googlebot"
# Does the page answer the Applebot User-Agent?
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)" https://example.com/page/
确认真实 Applebot 有没有来过,要看服务器日志,Apple 官方页给了反向 DNS(*.applebot.apple.com)和公开 IP 段两种验证方式,日志里的查法见 怎么查 GPTBot 等 AI 爬虫有没有来过我的网站?。
Siri 的网页回答从哪来?
官方只说了一半。Apple 官方页写的是:Applebot 抓到的数据可能为 AI 模型的输出提供背景和最新内容,例如 Siri 和 Search 回答宽泛的世界知识问题时,可能附上用到的来源链接。哪些页面被选中、用哪家搜索服务、怎么排序,这一页没有写,我们未核实。
另一条路径是 ChatGPT。Apple 的“Turn on ChatGPT on iPhone”页写:在“设置 > Siri”里打开 ChatGPT 扩展后,Apple Intelligence 才会配合 OpenAI 的 ChatGPT;用户可以选择发送前确认,并按页面说明,请求会发送给 ChatGPT 来回答。这一路径下的推荐规则就是 ChatGPT 自己的,见 怎么让 ChatGPT 推荐我的产品?。页面还写明 Apple Intelligence 在中国大陆不可用,地区和语言以 Apple 官方页为准。
Apple 官方页列了搜索排名可能参考的五项,写明没有预先确定的权重:
| 官方页列的因素 | 你能做的 |
|---|---|
| 用户对搜索结果的聚合互动 | 标题和描述写清楚,让点进来的人得到答案 |
| 搜索词与页面主题、内容的相关性 | 一页一个主题,正文直接回答问题 |
| 来自其他网页的链接数量和质量 | 被真实的文章、目录、社区提到,见 品牌提及比外链对 AI 搜索更重要吗?两项研究怎么说 |
| 用户大致位置 | 没有可做的;多语言站点要让每种语言的页面都能被抓到 |
| 页面设计特征 | 官方页没有展开,我们未核实具体指什么 |
怎么检查自己的网站对 Apple 的搜索可见?
1. 确认没有拦 Applebot
跑上面的 curl,robots.txt 里没有对 Applebot 或 Googlebot 的 Disallow 盖住你的内容页。
2. 确认页面没有 noindex
看页面 head 里的 robots meta 和响应头里的 X-Robots-Tag。Apple 官方页写 noindex 的页面不会出现在 Spotlight 和 Siri 建议里。
3. 正文直接写在 HTML 里
4. 在 iPhone 或 Mac 上搜几次
用买家的问题问 Siri、在 Spotlight 里搜品牌名,记下有没有你。Apple Intelligence 的可用地区和语言有限,以 Apple 官方页为准;记录方法见 怎么衡量 AI 可见度?四个指标和一张可照做的表。
5. 看日志里 Applebot 来过没有
日志里搜 Applebot,命令见 怎么查 GPTBot 等 AI 爬虫有没有来过我的网站?。
常见问题
Applebot-Extended 的 User-Agent 是什么?
没有单独的抓取身份。Apple 官方页写明 Applebot-Extended 不抓取网页,只用来决定 Applebot 抓到的数据能不能用于训练。所以服务器日志里要找的是 Applebot,不是 Applebot-Extended。
拦了 Applebot-Extended,还能被 Siri 和 Spotlight 搜到吗?
能。Apple 官方页写的是:disallow Applebot-Extended 的页面仍可出现在搜索结果里,Applebot-Extended 的规则不参与 Search 排名;即使再加上 nosnippet,内容仍可通过 Spotlight、Siri 和 Safari 找到。
怎么让某个页面不被用在 Siri 的回答里?
Apple 官方页给的办法是对具体内容加 nosnippet(meta 标签或 X-Robots-Tag)。代价也写明了:Applebot 不再为该页生成描述或网页答案,建议里只显示标题。想被推荐的页面不要加。
Siri 的网页回答用的是哪家搜索?
Apple 官方页没有写,我们未核实。能确认的只有它写的两点:Applebot 的数据支持 Siri 等产品里的搜索,也可能在回答宽泛的世界知识问题时提供背景并附来源链接。
能向 Apple 提交网址吗?
Apple 的 Applebot 页没有写提交网址的方法,只给了联系邮箱 applebot@apple.com。能做的是让网站对 Applebot 可抓取,并有正常的内链和 sitemap。
出处
- Apple · About Applebot (查看于 2026-11-09,页面标注发布日期 2026-09-04)
- Apple · Turn on ChatGPT on iPhone (查看于 2026-11-09)
- kagentx · kagentx.com/robots.txt (2026-11-09 读取)
- MochiStamp · mochistamp.com/robots.txt (2026-11-09 读取)
- Gamma AI Slide · gammaslide.com/robots.txt (2026-11-09 读取)
- Pagent · pagent.kagentx.com/robots.txt (2026-11-09 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。