讓 AI 讀得到你的網站：爬蟲、robots.txt 與結構化資料檢查清單
讓 AI 讀得到你的網站，需要做到三件事：robots.txt 放行搜尋用的 AI 爬蟲、文字直接寫在 HTML 裡、用結構化資料標示作者與日期。內含 OpenAI、Google、Perplexity、Anthropic 各家 AI 爬蟲的用途對照，以及一份做一次就好的網站檢查清單。
其他語言版本：English
讓 AI 讀得到你的網站，需要做到三件事：第一，robots.txt 不要擋掉 AI 的搜尋爬蟲；第二，文章文字要直接寫在 HTML 裡，不靠程式執行後才出現；第三，用結構化資料標示作者、日期與常見問題。AI 爬蟲進不來、讀不到文字，內容寫得再好，AI 也無從引用。
這是 GEO 五個步驟裡的第四步。和其他四步不同，這一步檢查的是整個網站，通常做一次就好。以下依序說明各家 AI 爬蟲的用途、robots.txt 怎麼設定、怎麼確認文字讀得到，以及結構化資料、網站地圖與 llms.txt 的作用。
為什麼要先確認 AI 讀得到？
AI 在回答前會先上網搜尋，再從讀到的網頁裡挑段落來回答。Google 說明，網頁要成為 AI 摘要的支援連結，條件是「已被收錄，而且可以在 Google 搜尋中顯示摘要」，除此之外沒有額外的技術要求（Google 搜尋中心：AI 功能與你的網站）。
換句話說，AI 引用的前提，是搜尋系統先讀到你的網頁。GEO 論文的實驗也是建立在這個前提上：AI 只能從檢索到的網頁裡挑來源（GEO 論文）。所以第一次做 GEO 時，建議先完成這一步，再開始寫內容。
各家 AI 爬蟲分別做什麼？
多數 AI 公司把爬蟲分成兩種：一種收集資料「訓練模型」，一種在回答時「即時搜尋」。兩者可以分開控制，你可以不讓內容拿去訓練，但仍讓 AI 搜尋得到你。
| 公司 | 搜尋用（建議放行） | 使用者發問時抓取 | 訓練模型用 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT-User | GPTBot |
| Anthropic | Claude-SearchBot | Claude-User | ClaudeBot |
| Perplexity | PerplexityBot | Perplexity-User | （官方說明不用於訓練） |
| Googlebot（AI 摘要沿用一般搜尋收錄） | — | Google-Extended（控制 Gemini 訓練與 grounding） |
幾個要注意的細節：
- OpenAI：搜尋爬蟲 OAI-SearchBot 與訓練爬蟲 GPTBot 分開控制，擋 GPTBot 不影響 ChatGPT 搜尋（OpenAI 爬蟲說明）。
- Anthropic：擋掉 Claude-SearchBot 或 Claude-User，可能降低你在 Claude 搜尋結果中的能見度（Anthropic 說明中心）。
- Perplexity：PerplexityBot 用來在搜尋結果中列出與連結網站；Perplexity-User 是使用者發問時才抓取，官方說明它通常不遵守 robots.txt（Perplexity 爬蟲說明）。
- Google：Google-Extended 不影響網站是否被收錄進 Google 搜尋，也不是排名訊號（Google 常見爬蟲清單）。AI 摘要用的是一般搜尋的收錄，擋 Googlebot 才會讓你從 AI 摘要消失。
robots.txt 怎麼設定？
robots.txt 是放在網站根目錄的文字檔，告訴爬蟲哪些路徑可以抓。最常見的問題不是忘了放行，而是以前為了擋垃圾爬蟲寫了「全部禁止」，連 AI 的搜尋爬蟲一起擋掉。
檢查步驟：
- 在瀏覽器打開
你的網址/robots.txt。 - 找有沒有
User-agent: *下面接Disallow: /；有的話，代表所有爬蟲都被擋。 - 搜尋表格中的爬蟲名稱，確認搜尋用的爬蟲沒有被
Disallow: /。 - 只想擋訓練、不擋搜尋時，只對 GPTBot、ClaudeBot、Google-Extended 寫
Disallow: /，其他保持放行。 - 後台、會員區這類私人頁面，另外對這些路徑寫 Disallow 即可。
要注意，robots.txt 只是請爬蟲不要抓，不是讓網頁不出現在搜尋的方法；要讓網頁不出現在 Google，要用 noindex 或密碼保護（Google robots.txt 說明）。
怎麼確認文字直接寫在 HTML 裡？
有些網站的文章文字要等瀏覽器執行 JavaScript 之後才出現。Google 會執行 JavaScript，但不是所有爬蟲都會；Google 自己也建議，伺服器端渲染或預先渲染仍然是好做法（Google JavaScript SEO 基礎）。
最簡單的檢查方法，不需要任何工具：
- 打開你的一篇文章，在網頁上按右鍵選「檢視原始碼」。
- 用 Ctrl + F 搜尋文章中間的一句話。
- 找得到，代表文字直接寫在 HTML 裡；找不到，代表要靠程式執行，部分 AI 爬蟲會讀不到。
常見的漏網之魚是「點了才展開」的常見問題區塊。如果答案要點擊後才由程式載入，原始碼裡就沒有答案。改用 HTML 的 details 與 summary 元素，答案一直在原始碼裡，只是畫面上先收合。
結構化資料要標示什麼？
結構化資料是一種標準格式，用來說明頁面的資訊、替頁面內容分類。Google 建議多數情況使用 JSON-LD 格式（Google 結構化資料簡介）。
對 GEO 最有用的三種標示：
| 標示類型 | 寫什麼 | 對 AI 的幫助 |
|---|---|---|
| Article | 標題、作者、發布日期、最後更新日期 | 讓 AI 判斷內容是誰寫的、新不新 |
| FAQPage | 每一題的問題與答案 | 問答結構清楚，方便直接對應使用者的問題 |
| Organization | 公司名稱、網址、標誌 | 讓 AI 把網站和品牌連在一起 |
最重要的規則是：標示的內容必須和畫面上看得到的一致，不要標示讀者看不到的資訊（Google 結構化資料一般規範）。也要有正確的期待：Google 自 2023 年 8 月起，FAQ 複合式結果只顯示於權威的政府與健康網站（Google 公告），所以加 FAQPage 的目的是讓結構更清楚，不是為了在搜尋結果多一塊版面。
網站地圖與 llms.txt 有什麼用？
網站地圖（sitemap.xml）列出網站上所有頁面，讓搜尋引擎更有效率地抓取，新文章比較不會被漏掉（Google 網站地圖說明）。它不保證收錄，但能縮短新文章被發現的時間。記得在 robots.txt 最後一行寫上網站地圖的位置。
llms.txt 是放在網站根目錄、寫給 AI 看的 Markdown 說明檔，內容是網站的一句話定義、重要頁面與文章清單（llms.txt 提案）。它目前是社群提案，各家 AI 是否讀取並沒有正式承諾。製作成本很低，可以做，但不要把它當成 GEO 的主力。
一次做完的檢查清單
下面 8 項，每一項都能在 10 分鐘內確認：
| 項目 | 怎麼檢查 | 合格標準 |
|---|---|---|
| 1. robots.txt | 打開 /robots.txt | 搜尋用爬蟲沒有被 Disallow: / |
| 2. 文字在 HTML 裡 | 檢視原始碼，搜尋文章中的一句話 | 找得到 |
| 3. 常見問題答案 | 檢視原始碼，搜尋一題答案 | 找得到，不需點擊才載入 |
| 4. 已被收錄 | 在 Google 搜尋 site:你的網址/文章路徑 | 出現在結果中 |
| 5. 沒有 noindex 或 nosnippet | 檢視原始碼搜尋 noindex、nosnippet | 重要頁面都沒有 |
| 6. Article 結構化資料 | 用 Google 複合式搜尋結果測試 | 有作者、發布與更新日期 |
| 7. 網站地圖 | 打開 /sitemap.xml | 包含最新文章 |
| 8. 頁面上的更新日期與作者 | 直接看文章頁 | 寫在畫面上，和結構化資料一致 |
第 5 項特別容易被忽略。Google 說明，nosnippet、max-snippet 這類控制也會限制內容在 AI 功能中的顯示（Google AI 功能說明）。
做完之後要做什麼？
這一步做完，就回到每個主題都要走的流程：選主題、寫內容、發布後量測。發布新文章後，用檢查清單的第 2、4、7 項確認它真的被讀到，再等約 4 週比較量測結果。
如果量測沒有起色，先回來確認這一步，再懷疑內容。相關文章：GEO 入門總覽、AI 怎麼決定引用誰、怎麼量測 AI 能見度。
常見問題
Q：怎麼讓 AI 讀得到我的網站？
robots.txt 放行 AI 的搜尋爬蟲、文字直接寫在 HTML 裡、用結構化資料標示作者與日期。
這三件事做完，再確認網頁已被搜尋引擎收錄，AI 才有機會在回答中引用你。
Q：擋掉 GPTBot 會讓 ChatGPT 搜尋不到我嗎？
不會。GPTBot 是訓練用爬蟲，ChatGPT 搜尋用的是 OAI-SearchBot。
OpenAI 說明兩者分開控制。只想避免內容拿去訓練，可以只擋 GPTBot，保留 OAI-SearchBot。
Q：擋掉 Google-Extended 會讓我從 AI 摘要消失嗎？
不會。Google 說明 Google-Extended 不影響網站是否被收錄進 Google 搜尋。
AI 摘要沿用一般搜尋的收錄；只有擋掉 Googlebot 或加上 noindex，才會讓網頁無法成為 AI 摘要的支援連結。
Q：robots.txt 可以讓網頁不出現在搜尋結果嗎？
不行。robots.txt 只是請爬蟲不要抓，不是把網頁排除在搜尋之外的方法。
要讓網頁不出現在 Google 搜尋，要用 noindex 或密碼保護。
Q：怎麼知道我的文章文字 AI 讀不讀得到？
在文章頁按右鍵「檢視原始碼」，搜尋文章中間的一句話。
找得到代表文字直接寫在 HTML 裡；找不到代表要靠 JavaScript 執行後才出現，部分 AI 爬蟲會讀不到。
Q：結構化資料一定要加嗎？
建議加，至少標示 Article 的作者與日期。
結構化資料讓 AI 更容易判斷內容是誰寫的、新不新。標示內容必須和畫面上看得到的一致。
Q：llms.txt 有用嗎？
有幫助但不是主力。llms.txt 是寫給 AI 看的網站說明檔，目前是社群提案。
各家 AI 是否讀取沒有正式承諾。製作成本低可以做，但 robots.txt、HTML 文字與結構化資料更重要。
Q：這一步多久要做一次？
網站層級的設定做一次就好，改版或換網站系統時再檢查一次。
每次發布新文章後，只需確認文字在原始碼裡、已被收錄、出現在網站地圖中。