課程平台的 robots.txt 攔 AI 爬蟲嗎?
我們查的五家裡,三家點名放行了 AI 爬蟲,一家沒點名,一家 robots.txt 本身讀不到。2026-11-09 用 curl 取了各家的 robots.txt,再按課程頁路徑判斷;這是對 robots.txt 文字的判斷,不是真實爬蟲的行為,CDN 或防火牆可能另外攔截,見 AI 爬蟲的 robots.txt 怎麼寫?。
| 平台 | GPTBot | ClaudeBot | PerplexityBot | robots.txt 裡值得注意的 |
|---|---|---|---|---|
| Coursera (www.coursera.org) | Allow(点名) | Allow(点名) | Allow(点名) | 這三個爬蟲另外禁了 /lecture/、/search 等;OAI-SearchBot 和 ChatGPT-User 單獨一組,沒禁 /lecture/;兩組都放行 /llms.txt |
| Teachable (www.teachable.com) | Allow(点名) | Allow(点名) | Allow(点名) | 點名了十個 AI 相關爬蟲,規則與 * 相同:只禁後台、登入、搜尋等路徑 |
| Teachable 学校子域 (anna-geiger.teachable.com) | Allow | Allow | Allow | * 規則只禁 /secure/、/admin/、/manage/ 等後台路徑 |
| Podia (www.podia.com) | Allow(点名) | Allow(点名) | Allow(点名) | 另點名了 OAI-SearchBot、Google-Extended,全部 Allow: /;podia.com 先 301 到 www |
| Skillshare (www.skillshare.com) | Allow | Allow | Allow | 沒點名 AI 爬蟲;* 規則禁搜尋、帳號、結帳等路徑 |
| Udemy (www.udemy.com) | 未核實 | 未核實 | 未核實 | robots.txt 回傳 403 的驗證頁,讀不到內容 |
「Allow(點名)」表示 robots.txt 裡有寫這個爬蟲名的規則,「Allow」表示沒點名、走 * 的規則。Udemy 的 robots.txt 對我們的 curl 回傳驗證頁,不代表它攔 AI 爬蟲,我們沒有再換方式繞過,所以寫未核實。
課程頁的大綱在原始 HTML 裡嗎?
我們能打開的兩個例子裡,在。2026-11-09 用 curl 取原始 HTML(不執行腳本),看課程大綱和結構化資料:
| 課程頁 | 無登入取頁面 | 原始 HTML 裡的大綱 | 結構化資料 |
|---|---|---|---|
| Coursera /learn/machine-learning | 200 | 有:Week 1–3 的標題和說明在正文裡 | 有 Course(含 syllabusSections 3 個、educationalLevel、coursePrerequisites、hasCourseInstance 的 courseWorkload 和 instructor 等),另有 FAQPage、BreadcrumbList |
| Teachable 学校课程页 (anna-geiger.teachable.com/p/reach-all-readers) | 200 | 有:各 Module 的課時標題和時長(如 7:24)在正文裡 | 沒有 JSON-LD,沒有 meta description,有 canonical |
| Skillshare 课程页 | 403 | 未核實:curl 回傳驗證頁 | 未核實 |
| Udemy 课程页 | 未核實 | 未核實:robots.txt 就被驗證頁擋住,課程頁沒有再試 | 未核實 |
| Podia 课程页 | 未核實 | 未核實:沒有找到可公開打開的範例 | 未核實 |
讀法:能確認的只有「大綱以文字出現在原始 HTML 裡」。AI 助理是不是讀這些文字、讀不讀 Course 標記,官方沒有說明,我們未核實。腳本渲染對爬蟲的影響見 AI 爬蟲會執行 JavaScript 嗎?。
檢查自己課程頁的指令:
# Is the syllabus in the raw HTML? Replace the quoted text with a lesson title from your page. curl -s https://example.com/courses/intro/ | grep -c "Lesson 1: Light" # Is there Course markup? curl -s https://example.com/courses/intro/ | grep -o '"@type": *"Course"' | head -1 # What does robots.txt say about the AI crawlers? curl -s https://example.com/robots.txt | grep -i -A3 -E "gptbot|claudebot|perplexitybot|user-agent: \*"
課程頁該寫哪些文字?
買家比較課程時問的是下面這些,所以每一項都寫成正文裡的文字,不要只放在影片或圖片裡。這張表是我們按買家會問的問題整理的做法,不是哪家官方的要求:
| 要寫的 | 怎麼寫 | 例子 |
|---|---|---|
| 課程名和一句話結果 | 開頭第一句寫「學完能做什麼」 | 「學完能用手機拍出能上架的商品圖」 |
| 面向誰 | 寫明水平和身分 | 「零基礎的網店店主」 |
| 先修要求 | 寫需要的設備、軟體、前置知識;沒有就寫「無」 | 「一支手機,不需要修圖軟體」 |
| 大綱 | 每章每節寫標題,有時長就寫 | 「第 2 節 構圖 12 分鐘」 |
| 總時長和學習方式 | 總時長、自學還是直播、有沒有期限 | 「共 3 小時,自訂進度」 |
| 價格 | 寫數字、幣別和更新日期,見 定價頁怎麼寫,AI 才能正確回答你的價格? | 「$49,2026-11 更新」 |
| 講師 | 姓名加一兩句真實經歷,連到個人頁 | 「Jane Doe,十年商品攝影」 |
| 評價 | 寫誰、什麼時候、原話連結,見 客戶評價和案例頁怎麼寫,AI 才會引用? | 「2026-10,原帖連結」 |
每個具體問題(「新手能學嗎」「要不要買設備」)可以單獨做成一節,用 FAQ 結構化資料(FAQPage)還有用嗎? 的寫法;按場景分的頁面見 「X 用來做 Y」的情境頁,怎麼寫才會被 AI 引用?。
Course 結構化資料怎麼寫?
先說 Google 的現狀。2026-11-09 查看 Google 的 Course list (Course) structured data 文件:想爭取課程列表的富媒體結果,要在至少三門課上標記 Course,必填 name 和 description(description 顯示限制 60 個字元),建議 provider;列表頁用 ItemList,每項要有 position 和 url;可以每門課一個詳情頁,也可以全部放在一個頁面裡。這個功能在英語、所有 Google 搜尋可用的地區提供,Google 不保證一定顯示。
另一件事是 Google 已經刪除了 Course info 的文件。Google 的更新記錄寫:2025-09-09 刪除 course info 等幾種結構化資料類型的文件,原因是它們不再顯示在 Google 搜尋結果裡;2025-06 的部落格也說這批類型會逐步退出。所以不要再按舊教學裡的 Course info 去做,更不要期待它帶來額外顯示。
schema.org/Course 這個詞彙本身還在,Coursera 的課程頁也在用(含 syllabusSections、hasCourseInstance 等)。下面是按 schema.org 屬性寫的單門課程範例,目的是把正文裡已有的事實放一份機器可讀的副本:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Course",
"name": "Intro to Product Photography",
"description": "Six lessons on lighting and framing for small online shops; about 3 hours in total.",
"provider": { "@type": "Organization", "name": "Example Studio", "sameAs": "https://example.com/" },
"educationalLevel": "Beginner",
"coursePrerequisites": "A phone or camera; no editing software needed.",
"syllabusSections": [
{ "@type": "Syllabus", "name": "Lesson 1: Light", "description": "Window light and one lamp." },
{ "@type": "Syllabus", "name": "Lesson 2: Framing", "description": "Angles that work for small products." }
],
"hasCourseInstance": {
"@type": "CourseInstance",
"courseMode": "Online",
"courseWorkload": "PT3H",
"instructor": { "@type": "Person", "name": "Jane Doe" }
}
}
</script>
三條規則:標記裡的每個數字和文字必須和頁面可見的內容一致;不要寫頁面上沒有的評分;AI 助理會不會讀它,官方沒有說明,我們未核實,通用判斷見 結構化資料對 AI 搜尋有用嗎?。
平台頁和自己的官網,哪個當主頁面?
我們的建議是官網課程頁當主頁面,平台頁當分發入口。理由來自我們實測到的事實,不是官方說法:
1. 平台頁你改不了多少
我們看的 Teachable 學校課程頁沒有 meta description,也沒有結構化資料;Skillshare 和 Udemy 對 curl 回傳驗證頁。官網課程頁上,這些都在你手裡。
2. 官網頁寫全,平台頁寫同樣的事實
大綱、時長、先修要求、價格和更新日期以官網為準,平台頁的描述照抄同一份。價格口徑只寫一個。
3. 平台頁連回官網,兩邊不要互相矛盾
平台頁描述裡放官網課程頁的網址。內容幾乎相同的頁面怎麼處理,見 canonical 和重複內容:多語言站怎麼配,才不被當成重複頁?。
4. 平台頁和官網哪個更常被 AI 引用,自己測
用買家的問題問 AI(開啟聯網搜尋),看來源欄裡出現的是平台頁還是官網。官方沒有說明偏向哪個,我們也沒有證據,未核實。
常見問題
課程平台攔 AI 爬蟲嗎?
2026-11-09 我們讀了五家平台的 robots.txt:Coursera、Teachable、Podia 都點名寫了 GPTBot、ClaudeBot、PerplexityBot 等,課程頁對它們都是 Allow;Coursera 對 GPTBot、ClaudeBot、PerplexityBot 還禁了 /lecture/。Skillshare 沒點名,走預設規則。Udemy 的 robots.txt 回傳 403 驗證頁,未核實。
課程頁一定要加 Course 結構化資料嗎?
不一定。官方沒有說 AI 助理會讀它,我們未核實。Google 的 Course list 文件有至少標記三門課的要求,用來爭取課程列表的富媒體結果。單門課程頁的價值主要是讓大綱、時長、先修要求這些事實有一份機器可讀的副本,並和正文一致。
Google 的 Course info 文件去哪了?
Google 已經刪除。它的更新記錄寫:2025-09-09 刪除 course info 等幾種結構化資料類型的文件,原因是這些類型不再顯示在 Google 搜尋結果中。仍在的是 Course list 文件。schema.org/Course 這個詞彙本身還在,Coursera 的課程頁也還在用。
課程放在平台上,還要自己的官網嗎?
建議要有。平台頁上的 robots.txt、meta 和結構化資料你不一定能改:我們看的 Teachable 學校課程頁,沒有 meta description 也沒有 JSON-LD。官網課程頁可以把大綱、價格和先修要求寫全。平台頁和官網哪個更常被 AI 引用,沒有官方說明,未核實。
課程大綱寫在影片裡行嗎?
不建議。我們看的 Coursera 和 Teachable 頁面,大綱都以文字出現在原始 HTML 裡。影片和圖片裡的文字,爬蟲讀不到,要同時寫成正文。
出處
- Google Search Central · Course list (Course) structured data (查看於 2026-11-09)
- Google Search Central · Latest Google Search Documentation Updates (查看於 2026-11-09,記錄 2025-09-09 刪除 course info 文件)
- Google Search Central Blog · Simplifying the search results page (2025-06 發表,查看於 2026-11-09)
- schema.org · Course (查看於 2026-11-09)
- Coursera · www.coursera.org/robots.txt (2026-11-09 讀取)
- Teachable · www.teachable.com/robots.txt (2026-11-09 讀取)
- Podia · www.podia.com/robots.txt (2026-11-09 讀取)
- Skillshare · www.skillshare.com/robots.txt (2026-11-09 讀取)
- Coursera · Supervised Machine Learning: Regression and Classification (2026-11-09 讀取原始 HTML)
- Teachable · Reach All Readers(Teachable 学校课程页) (2026-11-09 讀取原始 HTML)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。