Perplexity 的兩個爬蟲
Perplexity 每次回答都即時搜尋,回答裡標出來源。它的文件列了兩個爬蟲,作用不一樣:
| 爬蟲 | 做什麼 | 看不看 robots.txt | 用來訓練模型嗎 |
|---|---|---|---|
| PerplexityBot | 建立 Perplexity 的搜尋索引,讓網站出現在搜尋結果裡並被連結 | 看 | 不用於訓練基礎模型 |
| Perplexity-User | 使用者提問時,即時開啟網頁來回答 | 一般不看(因為是使用者發起的) | 不用於訓練 |
Perplexity 比 ChatGPT 更接近搜尋結果:Ahrefs 2025-08 的分析裡,Perplexity 引用的網址有 28.6% 排在 Google 前 10,ChatGPT 只有 8%。所以在 Perplexity 上,把頁面寫好、讓它排得上去的老方法更有用。
照這 6 步做
1. 放行 PerplexityBot
用 AI 爬蟲檢查 輸入網址,看 PerplexityBot 是不是「放行」。被擋住就把這段加到 robots.txt 最前面:
User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Perplexity 說改動最多 24 小時生效。有用防火牆或 CDN 的機器人封鎖,可以按它公布的 IP 清單(perplexity.ai/perplexitybot.json)放行。
2. 讓正文直接寫在 HTML 裡
Perplexity 引用的是它讀到的文字。跑下面這行,把引號裡換成頁面上的一句正文,輸出 0 就要改成伺服器端渲染或預先渲染:
curl -s https://your-site.com/pricing/ | grep -c "a sentence from the page"
3. 一頁回答一個具體問題
標題就寫買家的問題;第一段直接給答案;後面放步驟、比較表、價格和限制。別人想引用的就是這種一兩句能摘出來的回答。
數字寫上來源和日期,頁面上寫更新日期,過時的價格和功能及時修改。
4. 在 Perplexity 裡問你的買家問題,看來源欄
每個問題問 3 次(每次新開),記下來源欄裡的網址:你在不在、對手在不在、來源是哪一類網頁。
- 清單文章和評測:寫信給作者,說清你和清單裡的產品差在哪。
- Reddit 和論壇文章:用自己的帳號回答,寫明你是作者。
- 你自己的頁面在來源裡但沒被推薦:把那一頁的第一段改成直接回答這個問題。
5. 補一份 llms.txt
用 llms.txt 產生器 從首頁和 sitemap 寫一份草稿,改好放到網站根目錄。它成本低,但不是各家 AI 都承諾讀取的規則,前四步更重要。
6. 隔幾週用同樣的問題再測
Perplexity 的回答也每次不同。比的是「幾次裡出現幾次」,不是某一次排第幾。
AI 引用的是什麼樣的網頁
2026-10-22 評測 MochiStamp(日本市場):買家問題問 AI(Claude Sonnet 5.5,開啟連網搜尋)3 次,提到它 0 次。AI 讀了 10 個被引用的網頁,10 個列出了同類產品,提到它的 0 個;被引用最多的是 noripon.blog、ai-rise.net、note.com 這類教學和部落格,不是工具官網。
這一輪問的是 Claude,不是 Perplexity;但道理一樣:要被引用,你得出現在 AI 會搜到的那幾類網頁裡,或者自己就寫出那樣的網頁。完整資料見 MochiStamp 案例。
常見問題
Perplexity 會拿我的內容訓練模型嗎?
Perplexity 的文件寫的是:PerplexityBot 用來讓網站出現在搜尋結果裡,不用於收集訓練基礎模型的內容;Perplexity-User 也不用於訓練。
我在 robots.txt 裡擋了 Perplexity-User,為什麼還有造訪?
Perplexity 的文件寫明,Perplexity-User 是使用者發起的造訪,一般不看 robots.txt。要擋得在防火牆按它公布的 IP 清單處理;但擋住後,使用者在 Perplexity 裡貼你的連結也打不開。
Google 排名好,Perplexity 就會引用我嗎?
機會比較大,但不一定。Ahrefs 2025-08 的分析裡,Perplexity 引用的網址有 28.6% 排在 Google 前 10,比 ChatGPT 的 8% 高得多,但多數引用仍來自前 10 以外。
多久能被引用?
沒有固定時間。robots.txt 的改動 Perplexity 說最多 24 小時;頁面被搜到、被引用要看問題和競爭。兩到四週後用同一組問題再測。
出處
- Perplexity · Perplexity Crawlers (查看於 2026-11-03)
- Ahrefs · Only 12% of AI Cited URLs Rank in Google’s Top 10 for the Original Prompt (2025-08-11 發表,1.5 萬個提示詞)
- llmstxt.org · The /llms.txt file (2024 年提出)
- kagentx 評測:案例頁的資料,日期寫在每個例子裡。