课程平台的 robots.txt 拦 AI 爬虫吗?
我们查的五家里,三家点名放行了 AI 爬虫,一家没点名,一家 robots.txt 本身读不到。2026-11-09 用 curl 取了各家的 robots.txt,再按课程页路径判断;这是对 robots.txt 文字的判断,不是真实爬虫的行为,CDN 或防火墙可能另外拦截,见 AI 爬虫的 robots.txt 怎么写?。
| 平台 | GPTBot | ClaudeBot | PerplexityBot | robots.txt 里值得注意的 |
|---|---|---|---|---|
| Coursera (www.coursera.org) | Allow(点名) | Allow(点名) | Allow(点名) | 这三个爬虫另外禁了 /lecture/、/search 等;OAI-SearchBot 和 ChatGPT-User 单独一组,没禁 /lecture/;两组都放行 /llms.txt |
| Teachable (www.teachable.com) | Allow(点名) | Allow(点名) | Allow(点名) | 点名了十个 AI 相关爬虫,规则与 * 相同:只禁后台、登录、搜索等路径 |
| Teachable 学校子域 (anna-geiger.teachable.com) | Allow | Allow | Allow | * 规则只禁 /secure/、/admin/、/manage/ 等后台路径 |
| Podia (www.podia.com) | Allow(点名) | Allow(点名) | Allow(点名) | 另点名了 OAI-SearchBot、Google-Extended,全部 Allow: /;podia.com 先 301 到 www |
| Skillshare (www.skillshare.com) | Allow | Allow | Allow | 没点名 AI 爬虫;* 规则禁搜索、账号、结账等路径 |
| Udemy (www.udemy.com) | 未核实 | 未核实 | 未核实 | robots.txt 返回 403 的验证页,读不到内容 |
“Allow(点名)”表示 robots.txt 里有写这个爬虫名的规则,“Allow”表示没点名、走 * 的规则。Udemy 的 robots.txt 对我们的 curl 返回验证页,不代表它拦 AI 爬虫,我们没有再换方式绕过,所以写未核实。
课程页的大纲在原始 HTML 里吗?
我们能打开的两个例子里,在。2026-11-09 用 curl 取原始 HTML(不执行脚本),看课程大纲和结构化数据:
| 课程页 | 无登录取页面 | 原始 HTML 里的大纲 | 结构化数据 |
|---|---|---|---|
| Coursera /learn/machine-learning | 200 | 有:Week 1–3 的标题和说明在正文里 | 有 Course(含 syllabusSections 3 个、educationalLevel、coursePrerequisites、hasCourseInstance 的 courseWorkload 和 instructor 等),另有 FAQPage、BreadcrumbList |
| Teachable 学校课程页 (anna-geiger.teachable.com/p/reach-all-readers) | 200 | 有:各 Module 的课时标题和时长(如 7:24)在正文里 | 没有 JSON-LD,没有 meta description,有 canonical |
| Skillshare 课程页 | 403 | 未核实:curl 返回验证页 | 未核实 |
| Udemy 课程页 | 未核实 | 未核实:robots.txt 就被验证页挡住,课程页没有再试 | 未核实 |
| Podia 课程页 | 未核实 | 未核实:没有找到可公开打开的样例 | 未核实 |
读法:能确认的只有“大纲以文字出现在原始 HTML 里”。AI 助手是不是读这些文字、读不读 Course 标记,官方没有说明,我们未核实。脚本渲染对爬虫的影响见 AI 爬虫会执行 JavaScript 吗?。
检查自己课程页的命令:
# Is the syllabus in the raw HTML? Replace the quoted text with a lesson title from your page. curl -s https://example.com/courses/intro/ | grep -c "Lesson 1: Light" # Is there Course markup? curl -s https://example.com/courses/intro/ | grep -o '"@type": *"Course"' | head -1 # What does robots.txt say about the AI crawlers? curl -s https://example.com/robots.txt | grep -i -A3 -E "gptbot|claudebot|perplexitybot|user-agent: \*"
课程页该写哪些文字?
买家比较课程时问的是下面这些,所以每一项都写成正文里的文字,不要只放在视频或图片里。这张表是我们按买家会问的问题整理的做法,不是哪家官方的要求:
| 要写的 | 怎么写 | 例子 |
|---|---|---|
| 课程名和一句话结果 | 开头第一句写“学完能做什么” | “学完能用手机拍出能上架的商品图” |
| 面向谁 | 写明水平和身份 | “零基础的网店店主” |
| 先修要求 | 写需要的设备、软件、前置知识;没有就写“无” | “一部手机,不需要修图软件” |
| 大纲 | 每章每节写标题,有时长就写 | “第 2 节 构图 12 分钟” |
| 总时长和学习方式 | 总时长、自学还是直播、有没有期限 | “共 3 小时,自定进度” |
| 价格 | 写数字、币种和更新日期,见 定价页怎么写,AI 才能正确回答你的价格? | “$49,2026-11 更新” |
| 讲师 | 姓名加一两句真实经历,链到个人页 | “Jane Doe,十年商品摄影” |
| 评价 | 写谁、什么时候、原话链接,见 客户评价和案例页怎么写,AI 才会引用? | “2026-10,原帖链接” |
每个具体问题(“新手能学吗”“要不要买设备”)可以单独做成一节,用 FAQ 结构化数据(FAQPage)还有用吗? 的写法;按场景分的页面见 「X 用来做 Y」的场景页,怎么写才会被 AI 引用?。
Course 结构化数据怎么写?
先说 Google 的现状。2026-11-09 查看 Google 的 Course list (Course) structured data 文档:想争取课程列表的富媒体结果,要在至少三门课上标记 Course,必填 name 和 description(description 显示限制 60 个字符),推荐 provider;列表页用 ItemList,每项要有 position 和 url;可以每门课一个详情页,也可以全部放在一个页面里。这个功能在英语、所有 Google 搜索可用的地区提供,Google 不保证一定展示。
另一件事是 Google 已经删除了 Course info 的文档。Google 的更新记录写:2025-09-09 删除 course info 等几种结构化数据类型的文档,原因是它们不再显示在 Google 搜索结果里;2025-06 的博客也说这批类型会逐步退出。所以不要再按旧教程里的 Course info 去做,更不要期待它带来额外展示。
schema.org/Course 这个词汇本身还在,Coursera 的课程页也在用(含 syllabusSections、hasCourseInstance 等)。下面是按 schema.org 属性写的单门课程示例,目的是把正文里已有的事实放一份机器可读的副本:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Course",
"name": "Intro to Product Photography",
"description": "Six lessons on lighting and framing for small online shops; about 3 hours in total.",
"provider": { "@type": "Organization", "name": "Example Studio", "sameAs": "https://example.com/" },
"educationalLevel": "Beginner",
"coursePrerequisites": "A phone or camera; no editing software needed.",
"syllabusSections": [
{ "@type": "Syllabus", "name": "Lesson 1: Light", "description": "Window light and one lamp." },
{ "@type": "Syllabus", "name": "Lesson 2: Framing", "description": "Angles that work for small products." }
],
"hasCourseInstance": {
"@type": "CourseInstance",
"courseMode": "Online",
"courseWorkload": "PT3H",
"instructor": { "@type": "Person", "name": "Jane Doe" }
}
}
</script>
三条规则:标记里的每个数字和文字必须和页面可见的内容一致;不要写页面上没有的评分;AI 助手会不会读它,官方没有说明,我们未核实,通用判断见 结构化数据对 AI 搜索有用吗?。
平台页和自己的官网,哪个当主页面?
我们的建议是官网课程页当主页面,平台页当分发入口。理由来自我们实测到的事实,不是官方说法:
1. 平台页你改不了多少
我们看的 Teachable 学校课程页没有 meta description,也没有结构化数据;Skillshare 和 Udemy 对 curl 返回验证页。官网课程页上,这些都在你手里。
2. 官网页写全,平台页写同样的事实
大纲、时长、先修要求、价格和更新日期以官网为准,平台页的描述照抄同一份。价格口径只写一个。
3. 平台页链回官网,两边不要互相矛盾
平台页描述里放官网课程页的网址。内容几乎相同的页面怎么处理,见 canonical 和重复内容:多语言站怎么配,才不被当成重复页?。
4. 平台页和官网哪个更常被 AI 引用,自己测
用买家的问题问 AI(开联网搜索),看来源栏里出现的是平台页还是官网。官方没有说明偏向哪个,我们也没有证据,未核实。
常见问题
课程平台拦 AI 爬虫吗?
2026-11-09 我们读了五家平台的 robots.txt:Coursera、Teachable、Podia 都点名写了 GPTBot、ClaudeBot、PerplexityBot 等,课程页对它们都是 Allow;Coursera 对 GPTBot、ClaudeBot、PerplexityBot 还禁了 /lecture/。Skillshare 没点名,走默认规则。Udemy 的 robots.txt 返回 403 验证页,未核实。
课程页一定要加 Course 结构化数据吗?
不一定。官方没有说 AI 助手会读它,我们未核实。Google 的 Course list 文档有至少标记三门课的要求,用来争取课程列表的富媒体结果。单门课程页的价值主要是让大纲、时长、先修要求这些事实有一份机器可读的副本,并和正文一致。
Google 的 Course info 文档去哪了?
Google 已经删除。它的更新记录写:2025-09-09 删除 course info 等几种结构化数据的文档,原因是这些类型不再显示在 Google 搜索结果中。仍在的是 Course list 文档。schema.org/Course 这个词汇本身还在,Coursera 的课程页也还在用。
课程放在平台上,还要自己的官网吗?
建议要有。平台页上的 robots.txt、meta 和结构化数据你不一定能改:我们看的 Teachable 学校课程页,没有 meta description 也没有 JSON-LD。官网课程页可以把大纲、价格和先修要求写全。平台页和官网哪个更常被 AI 引用,没有官方说明,未核实。
课程大纲写在视频里行吗?
不建议。我们看的 Coursera 和 Teachable 页面,大纲都以文字出现在原始 HTML 里。视频和图片里的文字,爬虫读不到,要同时写成正文。
出处
- Google Search Central · Course list (Course) structured data (查看于 2026-11-09)
- Google Search Central · Latest Google Search Documentation Updates (查看于 2026-11-09,记录 2025-09-09 删除 course info 文档)
- Google Search Central Blog · Simplifying the search results page (2025-06 发表,查看于 2026-11-09)
- schema.org · Course (查看于 2026-11-09)
- Coursera · www.coursera.org/robots.txt (2026-11-09 读取)
- Teachable · www.teachable.com/robots.txt (2026-11-09 读取)
- Podia · www.podia.com/robots.txt (2026-11-09 读取)
- Skillshare · www.skillshare.com/robots.txt (2026-11-09 读取)
- Coursera · Supervised Machine Learning: Regression and Classification (2026-11-09 读取原始 HTML)
- Teachable · Reach All Readers(Teachable 学校课程页) (2026-11-09 读取原始 HTML)
- kagentx 评测:案例页的数据,日期写在每个例子里。