WordPress 的 AI 搜索优化要改哪四处?
四处:robots.txt、sitemap、结构化数据、llms.txt。前两处决定爬虫进不进得来、找不找得到页面,后两处是锦上添花。下面按 Yoast SEO 和 Rank Math 两个插件的官方文档(2026-11-09 核对)整理菜单位置:
| 要改的 | Yoast SEO | Rank Math |
|---|---|---|
| robots.txt | Yoast SEO → Tools → File editor | Rank Math SEO → General Settings → Edit robots.txt(Advanced Mode 里才有) |
| sitemap | sitemap_index.xml | 默认内容里的 Sitemap 行也是 sitemap_index.xml;WordPress 自带的是 wp-sitemap.xml |
| 结构化数据 | 官方页只给了文章页是 Article 加 author 的例子;完整清单未核实 | 没读到官方清单:未核实 |
| llms.txt | Settings → Site features → AI tools → LLMS.txt,打开后点 Save changes | LLMS Txt 模块,选文章类型,默认上限 100 |
不同版本的菜单名可能不同,下面每一节写了官方文档的说法和限制。
怎么在 WordPress 里改 robots.txt?
WordPress 在站点根目录没有真实的 robots.txt 时,会生成一个虚拟的。Yoast 和 Rank Math 都能在后台改:
- Yoast:Tools → File editor。网站禁用了文件编辑时这个菜单不出现,要改用 FTP。没有物理文件时有创建按钮。让 Yoast 生成 robots.txt 时会自动加上 sitemap 链接。
- Rank Math:General Settings → Edit robots.txt。Rank Math 官方说,站点根目录里有真实的 robots.txt 会挡住编辑,要用 FTP 或 cPanel 把它删掉。菜单不出现时,先看是不是 Easy Mode。
要放行 AI 搜索爬虫,只需要保证没有整站禁止,也可以像下面这样写出名字(规则的完整讲解见 AI 爬虫的 robots.txt 怎么写,爬虫名单见 AI 爬虫 User-Agent 对照表):
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
改完后 Rank Math 官方说通常约 24 小时生效。安全插件、主机商或 CDN 的机器人拦截不看 robots.txt,也要检查,见 Cloudflare 的 AI 爬虫控制怎么设置。
sitemap 要注意什么?
确认 robots.txt 里的 Sitemap 行指向的地址能打开,并且只有一套 sitemap 在对外提供。Yoast 的页面提到:想用 WordPress 自带的 wp-sitemap.xml 而不用 Yoast 的 sitemap_index.xml,要先关掉 Yoast 的 XML sitemap 和 llms.txt,约 5 分钟后再开 llms.txt。lastmod 的写法见 sitemap 的 lastmod 对 AI 爬虫有用吗?。
结构化数据和 llms.txt 怎么处理?
结构化数据:两个插件默认都会输出一部分,但完整清单我们没有读到官方说明,所以用下面的自查命令数一下 JSON-LD 的块数,再用 Google 或 schema.org 的校验器看内容。哪些类型值得手写见 结构化数据对 AI 搜索有用吗?,FAQ 标记见 FAQ 结构化数据在 AI 搜索里还有用吗?。
llms.txt:Yoast 文档写明不支持 multisite,出现“couldn’t be auto-generated”要检查服务器文件权限;Rank Math 的模块让你选文章类型,设了 noindex 的文章不会进文件,并且官方自己说这还只是提案。这个文件有没有被 AI 读取,见 什么是 llms.txt?,不要为它放弃前面几项。
怎么自查?一段可以直接跑的命令
把 SITE 换成你的网址,在终端里跑。我们在 kagentx.com 上实跑过:sitemap.xml 返回 200,其余几个地址 404,首页有 1 块 JSON-LD,robots.txt 里有 Sitemap 行。
SITE=https://example.com # replace with your site
# 1. robots.txt: what is served, and is there a Sitemap line?
curl -s $SITE/robots.txt
# 2. Which sitemap and llms.txt addresses answer? (200 = exists)
for p in sitemap_index.xml wp-sitemap.xml sitemap.xml llms.txt; do printf "%s " $p; curl -s -o /dev/null -w "%{http_code}\n" $SITE/$p; done
# 3. Structured data blocks on the home page
curl -s $SITE/ | grep -c 'application/ld+json'
# 4. Is the home page marked noindex?
curl -s $SITE/ | grep -io '<meta name="robots"[^>]*>'
# 5. Does an AI crawler's user agent get the page? (200 = yes)
curl -s -A "OAI-SearchBot" -o /dev/null -w "%{http_code}\n" $SITE/
| 结果 | 意思 | 怎么办 |
|---|---|---|
| robots.txt 里没有 Sitemap 行 | AI 爬虫不一定找得到 sitemap | 在后台 robots.txt 编辑器里补一行 |
| sitemap 两个地址都 200 | 同时有两套 sitemap | 只留一套,关掉另一套 |
| JSON-LD 块数是 0 | 页面没有结构化数据 | 检查插件设置,或看有没有被主题或缓存插件去掉 |
| 出现 noindex | 页面被标成不收录 | 检查“阅读设置”里的“建议搜索引擎不要索引本站”和插件里每页的设置 |
| 最后一条不是 200 | 这个 User-Agent 被挡了 | 查安全插件、主机商防火墙和 CDN |
正文有没有直接写在 HTML 里,也要看一眼:用 curl 取页面,grep 一句正文。有些页面构建插件或缓存插件会把正文推迟到脚本里,原因见 AI 爬虫会执行 JavaScript 吗?。服务器日志里确认爬虫来过,见 怎么在服务器日志里查 AI 爬虫来过没有。
改完之后用 怎么衡量 AI 可见度?四个指标和一张可照做的表 里的方法,两到四周后用同一组问题再测。
如果你是 WordPress.org 插件目录里的插件作者,插件页的 readme.txt 字段和目录页实测见 WordPress 插件怎么被 AI 推荐?。
如果你的站是用 Webflow 或 Framer 做的,和 WordPress 的对照见 AI 搜索能读到你的 Webflow 或 Framer 网站吗?。
常见问题
WordPress 的 robots.txt 在哪里改?
默认情况下 WordPress 生成的是虚拟 robots.txt。Yoast SEO 在 Tools → File editor 里改,Rank Math 在 General Settings → Edit robots.txt 里改。站点根目录如果有真实的 robots.txt 文件,Rank Math 官方说它会挡住编辑,要先删掉。
Yoast 和 Rank Math 都能生成 llms.txt 吗?
官方文档里都有。Yoast 在 Settings → Site features → AI tools → LLMS.txt 打开,Rank Math 有 LLMS Txt 模块。Rank Math 自己写明 llms.txt 目前是提案,不是正式标准,采用有限,所以它排在 robots.txt、sitemap 和正文直出之后。
装了 SEO 插件就够了吗?
不够。插件管的是 robots.txt、sitemap、标题和结构化数据这些文件和标记。页面正文有没有直接写在 HTML 里、CDN 或安全插件有没有拦住爬虫,要自己用下面的命令查。
Yoast 和 Rank Math 输出哪些结构化数据?
Yoast 官方页只给了一个例子:只用 Yoast 的文章页是 Article 加 author。两个插件完整输出哪些类型,我们没有读到官方清单,未核实。用自查命令数一下自己页面上有几块 JSON-LD。
sitemap 的地址是哪个?
Yoast 的是 sitemap_index.xml,Rank Math 的默认内容里写的也是 sitemap_index.xml,WordPress 自带的是 wp-sitemap.xml。用自查命令看哪个返回 200,并确认 robots.txt 里的 Sitemap 行指向它。
出处
- Yoast · How to enable llms.txt with Yoast SEO (2026-11-09 核对,页面未写日期)
- Yoast · The robots.txt file in Yoast SEO (2026-11-09 经搜索结果摘录读到,未直接打开)
- Rank Math · I Can’t Edit My Website’s Robots.txt (2026-11-09 核对,页面未写日期)
- Rank Math · How to Use llms.txt in Rank Math SEO (2026-11-09 经搜索结果摘录读到,未直接打开)
- kagentx 评测:案例页的数据,日期写在每个例子里。