用 Webflow 或 Framer 做的网站,AI 读得到正文吗?
我们在 2026-11-11 用 curl 取了四个公开站的首页(Webflow 两个、Framer 两个),四个都是服务端直出:不执行脚本,HTML 里就有标题、描述和正文。去掉脚本后可见文本最少的是 framer.university,约 2,600 字符,最多的是 pitch.com,约 1.55 万字符。这四个站是我们按页面里的平台标记挑的,只测了首页,不能代表你的站。
| 站点(平台) | 可见文本 | 标题、描述、canonical | JSON-LD |
|---|---|---|---|
| relume.io,跳转到 relume.ai(Webflow) | 约 2 万字符,h1 两个 | 都有,canonical 指向 www.relume.ai | 2 段 |
| finsweet.com(Webflow) | 约 1.1 万字符,h1 一个 | 都有,canonical 指向自己 | 1 段 |
| framer.university(Framer) | 约 2,600 字符,h1 三个 | 都有,canonical 指向自己 | 没有 |
| pitch.com(Framer) | 约 1.55 万字符,h1 一个 | 都有,canonical 标签带 Framer 自动生成的标记 | 1 段 |
数据来源:2026-11-11 自己 curl 取到的首页 HTML。只说明这四个首页,不说明平台所有模板。
robots.txt 和 sitemap 默认是什么样?
| 站点 | robots.txt | sitemap.xml |
|---|---|---|
| relume.io(Webflow) | 只有两行 Sitemap,没有 User-agent 规则 | 200,3,706 条网址,另有 /resources/sitemap.xml |
| finsweet.com(Webflow) | 只有一行 Sitemap,指向另一个主机名 wf.finsweet.com | 200,209 条网址 |
| framer.university(Framer) | User-agent * Allow: /,加一行 Sitemap | 200,992 条网址 |
| pitch.com(Framer) | Googlebot 和 * 两组都是空的 Disallow:,加 Sitemap | 200,是索引,列 4 个子 sitemap |
这四个站没有一个点名了 GPTBot、ClaudeBot、PerplexityBot 这类 AI 爬虫,所以按 robots.txt 文字,它们都对 AI 爬虫放行。这是各站主人自己的设置,不是平台默认值。写法见 AI 爬虫的 robots.txt 怎么写?。
官方帮助文档怎么说?
| 平台 | 官方文档写了什么 | 日期和状态 |
|---|---|---|
| Framer | 站点自动包含 sitemap.xml 和 robots.txt;关掉页面的 Search engines 开关会加 noindex 标签,不会改 robots.txt | 页面标 2026-09-15 和 2026-09-23 更新;2026-11-11 读原文 |
| Framer(canonical) | SEO 总览页没有写 canonical;样本站 pitch.com 的 canonical 标签带 data-framer-generated-canonical | 官方原文没写,未核实;样本是自己 curl 到的 |
| Webflow | robots.txt、sitemap、noindex、canonical 的默认设置 | 未核实:帮助中心对 curl 和 WebFetch 都返回 403 人机验证,我们没有绕过 |
Framer 的说法很明确:想让页面不被收录,用页面里的开关(noindex),不要靠 robots.txt,因为 robots.txt 只告诉搜索引擎不要抓取。这条对 AI 搜索同样适用:robots.txt 挡住的页面,网址仍可能被别处的链接带出来。
Webflow 的官方说明我们没有读到。搜索结果摘要里有它的说法,但那是二手的,所以不写进这里。你可以自己登录后台,在站点设置的 SEO 部分查 robots.txt 和 sitemap 的开关。
和 WordPress 比,差在哪里?
| Webflow / Framer | WordPress | |
|---|---|---|
| 正文 | 四个样本站首页都是服务端直出 | 取决于主题和插件,要自己用 curl 看 |
| robots.txt | 平台生成,站点设置里改(Framer 官方写了自动包含) | 通常由 Yoast、Rank Math 生成虚拟文件;根目录有真实文件会挡住编辑 |
| sitemap | 平台自动生成,样本站都有 | 默认 wp-sitemap.xml,或 SEO 插件自己的 |
| llms.txt | 官方文档里没有找到,未核实 | Yoast、Rank Math 各有开关 |
WordPress 的细节在 WordPress 网站怎么做 AI 搜索优化?,这里不重复。
我的 Webflow 或 Framer 站,现在该做什么?
1. 用 curl 看一遍首页
四行命令分别看平台标记、标题、canonical、正文里的一句话,最后看 robots.txt。正文那一行输出 0,就是 AI 爬虫读到的是空壳,见 AI 爬虫会执行 JavaScript 吗?。
# Is the text in the raw HTML? Platform marker, title, description, canonical curl -sL -A "Mozilla/5.0" https://your-site.com/ | grep -io 'data-wf-site\|name="generator" content="Framer[^"]*"' curl -sL -A "Mozilla/5.0" https://your-site.com/ | grep -io '<title>[^<]*</title>' curl -sL -A "Mozilla/5.0" https://your-site.com/ | grep -io '<link[^>]*rel="canonical"[^>]*>' curl -sL -A "Mozilla/5.0" https://your-site.com/ | grep -c "a sentence from your homepage" curl -s https://your-site.com/robots.txt
2. 确认 robots.txt 没有整体拦陌生爬虫
样本站都是放行的。检查你自己的站点设置里有没有加 Disallow: /,以及 CDN 的机器人规则。
3. 确认 sitemap 能打开,而且列了你的主要页面
样本站的 sitemap 都是 200。注意 finsweet.com 的 robots.txt 把 Sitemap 指向了另一个主机名,这种写法要保证那个地址能打开。
4. 需要隐藏的页面用 noindex,不要靠 robots.txt
Framer 官方这样写。Webflow 在页面设置里也有对应开关,具体位置未核实,请以后台为准。
5. canonical 指向你要被收录的那个网址
Framer 会自动生成 canonical,改过域名或有多个域名时要检查,见 canonical 和重复内容:多语言站怎么配,才不被当成重复页?。
常见问题
Webflow 网站能被 ChatGPT 读到吗?
我们测的两个 Webflow 站,首页 HTML 里直接有正文,robots.txt 没有拦 AI 爬虫。ChatGPT 是否引用,没有证据,未核实。
Framer 网站是不是靠 JavaScript 渲染,AI 读不到?
我们测的两个 Framer 站,首页 HTML 里有标题、描述和正文,可见文本从约 2,600 到约 1.55 万字符。只测了首页,内页要自己用 curl 看。
Framer 的 robots.txt 能改吗?
官方 SEO 总览页只写了自动包含 robots.txt,没写怎么改,未核实。
怎么让 Framer 的某个页面不被收录?
官方:页面设置里关掉 Search engines,重新发布,Framer 会加 noindex 标签。不会改 robots.txt。
Webflow 官方对 robots.txt 默认值怎么说?
未核实。帮助中心对我们的抓取返回 403 人机验证,我们没有绕过。
Webflow 和 Framer 的 sitemap 要自己提交吗?
样本站的 sitemap.xml 都是 200 且列了页面。要不要自己提交到 Search Console 和 Bing,官方文档没读到,建议提交。
这些结果能代表我的站吗?
不能。这是四个公开站的首页,各站主人有自己的设置。用页面里的自查命令跑你自己的站。
出处
- Framer · Guide to SEO features and tools (2026-11-11 读原文,页面标 2026-09-15 更新)
- Framer · Prevent pages from being indexed by search engines (2026-11-11 读原文,页面标 2026-09-23 更新)
- Webflow · robots.txt(Webflow 官网自己的) (2026-11-11 抓取)
- Framer University · robots.txt (2026-11-11 抓取)
- Finsweet · robots.txt (2026-11-11 抓取)
- Pitch · robots.txt (2026-11-11 抓取)
- kagentx 评测:案例页的数据,日期写在每个例子里。