Hugging Face 拦 AI 爬虫吗?页面正文在原始 HTML 里吗?
不拦。2026-11-09 我们用 curl 读了 huggingface.co/robots.txt:只有一组 User-agent: * 加 Allow: /,没有点名 GPTBot、ClaudeBot 或 PerplexityBot。再各取一个模型页和 Space 页看原始 HTML:模型页的 model card 正文直接在 HTML 里;Space 页的 HTML 里几乎只有标题栏,应用本身在 iframe 里运行。
| 页面 | 我们看到的(2026-11-09) | 对你意味着什么 |
|---|---|---|
| robots.txt | User-agent: * / Allow: /,加 sitemap;没有点名 AI 爬虫 | 按文字读,三个爬虫都可抓 |
| 模型页 openai-community/gpt2 | HTTP 200,约 243KB;正文含 model card 第一段、标签(Text Generation、English、License: mit)和使用代码;meta description 是自动句式“Text Generation model with 0.1B parameters. Download, explore files and run it on Hugging Face.” | model card 的文字爬虫读得到;但 meta description 不是你写的第一段 |
| 模型页 google-bert/bert-base-uncased | 同样直出;meta description 同一句式:“Fill-Mask model with 0.1B parameters…” | 自动句式只含任务和参数量 |
| Space 页 gradio/hello_world | HTTP 200,约 34KB;正文去掉脚本后只有约 142 字符;meta description 是通用句“Discover amazing ML apps made by the community”;有 WebApplication 的 JSON-LD | Space 的页面本身不告诉爬虫它做什么,除非你写了 short_description |
| Space 页 HuggingFaceH4/zephyr-chat | meta description 是一段具体的话,但它的 README 头里没有 short_description,来源我们没查到;正文写着 Space 已暂停 | 暂停的 Space 页只剩一个空壳,未核实描述从哪来 |
这只是 robots.txt 文字和我们自己的请求,不是 AI 爬虫真实取到的内容。爬虫是否执行脚本,见 AI 爬虫会执行 JavaScript 吗?;爬虫规则见 AI 爬虫的 robots.txt 怎么写?。
model card 第一段怎么写?
官方文档(2026-11-09 读)说 model card 对“可发现、可复现、可分享”很重要,应描述模型本身、预期用途和局限(包括偏见)、训练参数、训练数据集和评测结果。第一段是页面里最先被读到的文字,我们建议只放事实:这是什么模型、做什么任务、多大、什么语言、在什么数据上微调、一个能核对的指标。
| 不好的写法 | 好的写法 | |
|---|---|---|
| 第一段 | A state-of-the-art, powerful model that revolutionizes customer support. | A fine-tuned DistilBERT model that sorts English customer-support tickets into five categories. 66M parameters; accuracy 91.4% on the held-out set in this repo. |
| 标题 | MyModel-v2-final | 写成模型是什么:Ticket Triage DistilBERT |
| 指标 | “比同类更准” | 写数据集、指标名和数字,并说明这个数字是你自己测的 |
| 局限 | 不写 | 写已知不适用的情况:只支持英文、训练数据的时间范围 |
| 许可证 | 只写在文件里 | 同时写进 YAML 头的 license 字段,页面会显示并可过滤 |
--- license: apache-2.0 language: - en library_name: transformers pipeline_tag: text-classification base_model: distilbert/distilbert-base-uncased datasets: - example/support-tickets tags: - customer-support --- # Ticket Triage DistilBERT A fine-tuned DistilBERT model that sorts English customer-support tickets into five categories (billing, bug, how-to, account, other). 66M parameters; runs on CPU in about 20 ms per ticket. Accuracy 91.4% on the held-out set in this repo.
第一段之后,建议依次放:怎么用(几行代码)、训练数据和过程、评测结果表、局限与偏见。页面的 title 和 meta description 是 Hub 自动生成的,所以想让别处读到你的一句话,就写在 model card 第一段,同时放进官网页。
哪些元数据字段会出现在页面和搜索里?
官方文档写明:model card 顶部的 YAML 元数据“支持发现和使用”,可以用来在 huggingface.co/models 上过滤,也会显示在模型页。下面是文档里写到的字段,以及我们在 gpt2 页面上看到的对应显示。
| 字段 | 官方文档说的作用 | 写法建议 |
|---|---|---|
| license | 显示在模型页,可按许可证过滤;自定义许可证用 license: other 加 license_name、license_link | 必写,用标准标识符 |
| language | 语言标识,按 Hub 的 Languages 页的标识符写 | 写真实支持的语言 |
| pipeline_tag | 任务类型,显示在模型页,可按任务过滤;transformers 模型会从 config.json 自动推断,也可覆盖 | 非 transformers 模型必须自己写 |
| library_name | 指定库;官方推荐显式写,自动检测“不推荐”;2024 年 8 月后创建的仓库不再默认当作 transformers | 写明,如 transformers |
| tags | 自由标签,显示在页面上 | 写用户会搜的任务和领域词,不堆无关词 |
| datasets | 页面显示 “Datasets used to train:” 并链接到 Hub 上的数据集 | 有训练数据就写 |
| base_model | 显示基础模型,可按基础模型过滤;Hub 会推断关系是 finetune、adapter、quantized 还是 merge | 微调、量化、合并的模型必写 |
我们在 gpt2 页面的原始 HTML 里看到了这些元数据对应的标签:Text Generation、Transformers、English、License: mit。该仓库的 YAML 只写了 language、tags 和 license,Text Generation 是 Hub 推断出来的。AI 回答是否用这些字段,没有官方说明,未核实。
Space 的描述怎么写?
Space 页的原始 HTML 里没有应用内容(应用在 iframe 里),所以描述要靠 README 头里的字段。官方文档(Spaces Configuration Reference)写明:short_description 是对 Space 的一句话描述,显示在 Space 的缩略图上;models 字段列出用到的模型,不写时会从代码里自动解析。我们看到的没写 short_description 的 Space,meta description 是通用句子。
--- title: Ticket Triage Demo emoji: 🎫 sdk: gradio app_file: app.py short_description: Paste a support ticket and get its category from Ticket Triage DistilBERT. models: - example/ticket-triage-distilbert ---
1. 写 short_description
一句话:粘贴什么,得到什么,用的是哪个模型。
2. 在 README 头里写 models
让 Space 页和模型页互相链接。
3. 模型页回链 Space
在 model card 里写“在线试用:Space 链接”。
4. 保持 Space 在运行
我们抽样的 zephyr-chat 页面写着 Paused,打开后只剩空壳。
要不要在自己官网写一页模型介绍?
要。Hugging Face 的页面是平台的模板:meta description 自动生成,Space 页没有正文。官网上的一页是你完全控制的版本,也让 AI 在 Hugging Face 之外多一个来源。
1. 标题写成问题
例如“有没有能自动给客服工单分类的开源模型?”,第一段直接答:Ticket Triage DistilBERT,66M 参数,英文,准确率和测试集。
2. 放一张规格表
任务、参数量、语言、许可证、训练数据、指标、硬件要求。
3. 放可复制的使用代码
几行 Python,写成文本,不用截图。
4. 链到模型页、Space 和 GitHub
并在模型页和 README 里回链官网,三处说同一句话。
5. 写明版本和日期
模型更新后同步改。
一般的 AI 工具怎么被推荐,见 AI 工具类产品怎么被 ChatGPT 推荐?;GitHub README 的写法,见 GitHub README 会被 AI 搜索引用吗?;README 以外的位置,见 开源项目怎么被 AI 搜索推荐?README 以外的 6 个地方。
常见问题
Hugging Face 拦 AI 爬虫吗?
2026-11-09 我们读的 robots.txt 只有 User-agent: * 加 Allow: /,没有点名 GPTBot、ClaudeBot 或 PerplexityBot。这只是 robots.txt 文字的判断。
model card 的第一段会变成页面描述吗?
我们看到的不会:模型页的 meta description 是自动生成的句式(任务加参数量),第一段在页面正文里。
哪些元数据最重要?
官方文档说元数据支持发现和过滤。至少填 license、language、pipeline_tag(非 transformers 模型)、library_name、tags,有数据集和基础模型就填 datasets 和 base_model。
Space 页能被爬虫读到什么?
我们抽样的 Space 页,正文去掉脚本后只有几百个字符,应用在 iframe 里。要让页面有一句描述,在 README 头里写 short_description。
AI 会引用 Hugging Face 的页面吗?
没有官方说明,我们也没有拿到实际引用的证据,未核实。
官网要不要再写一页?
建议写。平台页面的 meta description 是自动的,官网页是你控制的版本,可以放规格表、使用代码和日期。
出处
- Hugging Face · Model Cards (查看于 2026-11-09)
- Hugging Face · Spaces Configuration Reference (查看于 2026-11-09)
- Hugging Face · huggingface.co/robots.txt (2026-11-09 读取)
- Hugging Face · openai-community/gpt2 (2026-11-09 读取)
- Hugging Face · spaces/gradio/hello_world (2026-11-09 读取)
- kagentx 评测:案例页的数据,日期写在每个例子里。