Hugging Face 擋 AI 爬蟲嗎?頁面正文在原始 HTML 裡嗎?
不擋。2026-11-09 我們用 curl 讀了 huggingface.co/robots.txt:只有一組 User-agent: * 加 Allow: /,沒有點名 GPTBot、ClaudeBot 或 PerplexityBot。再各取一個模型頁和 Space 頁看原始 HTML:模型頁的 model card 正文直接在 HTML 裡;Space 頁的 HTML 裡幾乎只有標題列,應用本身在 iframe 裡執行。
| 頁面 | 我們看到的(2026-11-09) | 對你意味著什麼 |
|---|---|---|
| robots.txt | User-agent: * / Allow: /,加 sitemap;沒有點名 AI 爬蟲 | 按文字讀,三個爬蟲都可抓 |
| 模型页 openai-community/gpt2 | HTTP 200,約 243KB;正文含 model card 第一段、標籤(Text Generation、English、License: mit)和使用程式碼;meta description 是自動句式「Text Generation model with 0.1B parameters. Download, explore files and run it on Hugging Face.」 | model card 的文字爬蟲讀得到;但 meta description 不是你寫的第一段 |
| 模型页 google-bert/bert-base-uncased | 同樣直出;meta description 同一句式:「Fill-Mask model with 0.1B parameters…」 | 自動句式只含任務和參數量 |
| Space 页 gradio/hello_world | HTTP 200,約 34KB;正文去掉腳本後只有約 142 字元;meta description 是通用句「Discover amazing ML apps made by the community」;有 WebApplication 的 JSON-LD | Space 的頁面本身不告訴爬蟲它做什麼,除非你寫了 short_description |
| Space 页 HuggingFaceH4/zephyr-chat | meta description 是一段具體的話,但它的 README 頭裡沒有 short_description,來源我們沒查到;正文寫著 Space 已暫停 | 暫停的 Space 頁只剩一個空殼,未核實描述從哪來 |
這只是 robots.txt 文字和我們自己的請求,不是 AI 爬蟲真實取到的內容。爬蟲是否執行腳本,見 AI 爬蟲會執行 JavaScript 嗎?;爬蟲規則見 AI 爬蟲的 robots.txt 怎麼寫?。
model card 第一段怎麼寫?
官方文件(2026-11-09 讀)說 model card 對「可發現、可重現、可分享」很重要,應描述模型本身、預期用途和限制(包括偏見)、訓練參數、訓練資料集和評測結果。第一段是頁面裡最先被讀到的文字,我們建議只放事實:這是什麼模型、做什麼任務、多大、什麼語言、在什麼資料上微調、一個能核對的指標。
| 不好的寫法 | 好的寫法 | |
|---|---|---|
| 第一段 | A state-of-the-art, powerful model that revolutionizes customer support. | A fine-tuned DistilBERT model that sorts English customer-support tickets into five categories. 66M parameters; accuracy 91.4% on the held-out set in this repo. |
| 标题 | MyModel-v2-final | 寫成模型是什麼:Ticket Triage DistilBERT |
| 指标 | 「比同類更準」 | 寫資料集、指標名和數字,並說明這個數字是你自己測的 |
| 局限 | 不寫 | 寫已知不適用的情況:只支援英文、訓練資料的時間範圍 |
| 许可证 | 只寫在檔案裡 | 同時寫進 YAML 頭的 license 欄位,頁面會顯示並可過濾 |
--- license: apache-2.0 language: - en library_name: transformers pipeline_tag: text-classification base_model: distilbert/distilbert-base-uncased datasets: - example/support-tickets tags: - customer-support --- # Ticket Triage DistilBERT A fine-tuned DistilBERT model that sorts English customer-support tickets into five categories (billing, bug, how-to, account, other). 66M parameters; runs on CPU in about 20 ms per ticket. Accuracy 91.4% on the held-out set in this repo.
第一段之後,建議依次放:怎麼用(幾行程式碼)、訓練資料和過程、評測結果表、限制與偏見。頁面的 title 和 meta description 是 Hub 自動產生的,所以想讓別處讀到你的一句話,就寫在 model card 第一段,同時放進官網頁。
哪些中繼資料欄位會出現在頁面和搜尋裡?
官方文件寫明:model card 頂部的 YAML 中繼資料「支援發現和使用」,可以用來在 huggingface.co/models 上過濾,也會顯示在模型頁。下面是文件裡寫到的欄位,以及我們在 gpt2 頁面上看到的對應顯示。
| 欄位 | 官方文件說的作用 | 寫法建議 |
|---|---|---|
| license | 顯示在模型頁,可按授權過濾;自訂授權用 license: other 加 license_name、license_link | 必寫,用標準識別碼 |
| language | 語言識別碼,按 Hub 的 Languages 頁的識別碼寫 | 寫真實支援的語言 |
| pipeline_tag | 任務類型,顯示在模型頁,可按任務過濾;transformers 模型會從 config.json 自動推斷,也可覆蓋 | 非 transformers 模型必須自己寫 |
| library_name | 指定函式庫;官方推薦顯式寫,自動偵測「不推薦」;2024 年 8 月後建立的倉庫不再預設當作 transformers | 寫明,如 transformers |
| tags | 自由標籤,顯示在頁面上 | 寫使用者會搜的任務和領域詞,不堆無關詞 |
| datasets | 頁面顯示 “Datasets used to train:” 並連結到 Hub 上的資料集 | 有訓練資料就寫 |
| base_model | 顯示基礎模型,可按基礎模型過濾;Hub 會推斷關係是 finetune、adapter、quantized 還是 merge | 微調、量化、合併的模型必寫 |
我們在 gpt2 頁面的原始 HTML 裡看到了這些中繼資料對應的標籤:Text Generation、Transformers、English、License: mit。該倉庫的 YAML 只寫了 language、tags 和 license,Text Generation 是 Hub 推斷出來的。AI 回答是否用這些欄位,沒有官方說明,未核實。
Space 的描述怎麼寫?
Space 頁的原始 HTML 裡沒有應用內容(應用在 iframe 裡),所以描述要靠 README 頭裡的欄位。官方文件(Spaces Configuration Reference)寫明:short_description 是對 Space 的一句話描述,顯示在 Space 的縮圖上;models 欄位列出用到的模型,不寫時會從程式碼裡自動解析。我們看到的沒寫 short_description 的 Space,meta description 是通用句子。
--- title: Ticket Triage Demo emoji: 🎫 sdk: gradio app_file: app.py short_description: Paste a support ticket and get its category from Ticket Triage DistilBERT. models: - example/ticket-triage-distilbert ---
1. 寫 short_description
一句話:貼上什麼,得到什麼,用的是哪個模型。
2. 在 README 頭裡寫 models
讓 Space 頁和模型頁互相連結。
3. 模型頁回連 Space
在 model card 裡寫「線上試用:Space 連結」。
4. 保持 Space 在執行
我們抽樣的 zephyr-chat 頁面寫著 Paused,打開後只剩空殼。
要不要在自己官網寫一頁模型介紹?
要。Hugging Face 的頁面是平台的範本:meta description 自動產生,Space 頁沒有正文。官網上的一頁是你完全控制的版本,也讓 AI 在 Hugging Face 之外多一個來源。
1. 標題寫成問題
例如「有沒有能自動給客服工單分類的開源模型?」,第一段直接答:Ticket Triage DistilBERT,66M 參數,英文,準確率和測試集。
2. 放一張規格表
任務、參數量、語言、授權、訓練資料、指標、硬體需求。
3. 放可複製的使用程式碼
幾行 Python,寫成文字,不用截圖。
4. 連到模型頁、Space 和 GitHub
並在模型頁和 README 裡回連官網,三處說同一句話。
5. 寫明版本和日期
模型更新後同步改。
一般的 AI 工具怎麼被推薦,見 AI 工具類產品怎麼被 ChatGPT 推薦?;GitHub README 的寫法,見 GitHub README 會被 AI 搜尋引用嗎?;README 以外的位置,見 開源專案怎麼被 AI 搜尋推薦?README 以外的 6 個地方。
常見問題
Hugging Face 擋 AI 爬蟲嗎?
2026-11-09 我們讀的 robots.txt 只有 User-agent: * 加 Allow: /,沒有點名 GPTBot、ClaudeBot 或 PerplexityBot。這只是 robots.txt 文字的判斷。
model card 的第一段會變成頁面描述嗎?
我們看到的不會:模型頁的 meta description 是自動產生的句式(任務加參數量),第一段在頁面正文裡。
哪些中繼資料最重要?
官方文件說中繼資料支援發現和過濾。至少填 license、language、pipeline_tag(非 transformers 模型)、library_name、tags,有資料集和基礎模型就填 datasets 和 base_model。
Space 頁能被爬蟲讀到什麼?
我們抽樣的 Space 頁,正文去掉腳本後只有幾百個字元,應用在 iframe 裡。要讓頁面有一句描述,在 README 頭裡寫 short_description。
AI 會引用 Hugging Face 的頁面嗎?
沒有官方說明,我們也沒有拿到實際引用的證據,未核實。
官網要不要再寫一頁?
建議寫。平台頁面的 meta description 是自動的,官網頁是你控制的版本,可以放規格表、使用程式碼和日期。
出處
- Hugging Face · Model Cards (查看於 2026-11-09)
- Hugging Face · Spaces Configuration Reference (查看於 2026-11-09)
- Hugging Face · huggingface.co/robots.txt (2026-11-09 讀取)
- Hugging Face · openai-community/gpt2 (2026-11-09 讀取)
- Hugging Face · spaces/gradio/hello_world (2026-11-09 讀取)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。