robots.txt 與 sitemap 產生器 使用方法
- 1
選擇起點
選擇「封鎖 AI 訓練，保留 AI 搜尋」這類預設範本，或從「允許全部」開始，再自行編輯群組。
- 2
新增群組與規則
為每個群組選擇爬蟲，從 Googlebot 到 GPTBot、ClaudeBot 都有，再加入 Allow（允許）與 Disallow（禁止）路徑，以及你的 Sitemap 網址。
- 3
測試實際網址
開啟「測試工具」，貼上任何網址或路徑，就能看到每個爬蟲是由哪一條規則決定，採用與 Google 相同的最長比對邏輯。
- 4
建立 Sitemap
貼上你的網址清單，或讓我們的伺服器爬取你的網站，然後下載 sitemap.xml；網址超過 50,000 個時，會下載含索引檔的 ZIP。
限制與 Pro
免費版：最多爬取 300 個頁面，同時 3 個請求，每頁 10 秒、每次爬取 90 秒，每 10 分鐘可爬取 3 次；貼上的清單最多 200,000 個網址；Sitemap 檔案以 50,000 個網址或 50 MB 為上限拆分。
關於 robots.txt 與 sitemap 產生器
這個產生器涵蓋告訴爬蟲該抓取什麼的兩種檔案。robots.txt 建立工具可寫出一組組 User-agent 行，搭配 Allow 與 Disallow 規則、選用的 Crawl-delay 數值和 Sitemap 行。爬蟲清單包含搜尋引擎，以及網站擁有者最常詢問的 AI 代理程式：OpenAI 的 GPTBot、OAI-SearchBot 與 ChatGPT-User，Anthropic 的 ClaudeBot、Claude-SearchBot 與 Claude-User，還有 PerplexityBot，以及 Google-Extended、Applebot-Extended 這類控制用標記，並各自標示為訓練、搜尋或使用者觸發。側邊面板可一眼看出哪些爬蟲能抓取你的首頁。
測試工具依照 Robots Exclusion Protocol 標準 RFC 9309：爬蟲會遵循指名它的群組，否則遵循 * 群組；最長的符合模式優先，長度相同時 Allow 優先，* 可比對任何內容，$ 代表網址結尾。它可使用建立工具中的規則，或你貼上的任何 robots.txt，並列出爬蟲會忽略的行。
Sitemap 產生器會輸出符合 sitemaps.org 的 XML，自動跳脫網址並可加入 lastmod 日期、移除重複項目，過大的清單則以每檔 50,000 個網址拆分並建立索引檔。爬蟲只跟隨同一主機的連結，遵守 robots.txt 與 noindex，並從頁面中繼資料讀取 lastmod。robots.txt 只是有禮貌的爬蟲會遵守的建議，並非存取控制，無法對人或忽略它的爬蟲隱藏頁面。
隱私
robots.txt 建立工具、測試工具，以及由貼上清單產生的 Sitemap 都在你的瀏覽器中執行，不會傳送任何資料。只有「爬取我的網站」會用到我們的伺服器：它會接收起始網址、抓取你的公開頁面與 robots.txt，並將找到的網址即時回傳給你，且不會儲存。
功能
支援 AI 爬蟲
內建 21 個具名爬蟲標記，從 Googlebot 到 GPTBot、ClaudeBot、PerplexityBot，並依用途標示。
RFC 9309 測試工具
針對任何網址與任何爬蟲，以最長比對給出結果，並標示決定的那一行。
可擴充的 Sitemap
可貼上或爬取，支援 lastmod 日期、去除重複，網址超過 50,000 個時自動建立索引檔。