robots.txt 与站点地图生成器 使用方法
- 1
选择起点
选择一个预设，例如“禁止 AI 训练，保留 AI 搜索”，或者从“允许所有”开始，再编辑各个分组。
- 2
添加分组和规则
为每个分组选择爬虫，从 Googlebot 到 GPTBot、ClaudeBot 都有，然后添加 Allow 和 Disallow 路径以及站点地图的 URL。
- 3
测试真实 URL
打开“测试器”，粘贴任意 URL 或路径，就能看到每个爬虫由哪条规则决定，采用的是与 Google 相同的最长匹配逻辑。
- 4
生成站点地图
粘贴你的 URL，或让我们的服务器抓取你的网站，然后下载 sitemap.xml；超过 50,000 个 URL 时，会下载包含索引的 ZIP。
限制与 Pro
免费：每次最多抓取 300 个页面，3 个并行请求，每页 10 秒、每次抓取 90 秒，每 10 分钟可抓取 3 次；粘贴列表最多 200,000 个 URL；站点地图文件按 50,000 个 URL 或 50 MB 拆分。
关于 robots.txt 与站点地图生成器
这个生成器负责两个告诉爬虫该抓取什么的文件。robots.txt 生成器可以写出由 User-agent 行组成的分组，包含 Allow 和 Disallow 规则、可选的 Crawl-delay 以及 Sitemap 行。爬虫列表涵盖搜索引擎和站长最常问到的 AI 代理：OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User，Anthropic 的 ClaudeBot、Claude-SearchBot 和 Claude-User，PerplexityBot，以及 Google-Extended、Applebot-Extended 等控制标记，并分别标明用于训练、搜索还是用户触发。旁边的面板会一眼显示哪些爬虫可以抓取你的首页。
测试器遵循 RFC 9309，也就是机器人排除协议标准：爬虫遵循点名它的分组，否则遵循 * 分组；最长匹配的规则优先，长度相同时 Allow 优先，* 匹配任意内容，$ 表示 URL 结尾。它既可以使用生成器中的规则，也可以使用你粘贴的任意 robots.txt，并列出爬虫会忽略的行。
站点地图生成器输出符合 sitemaps.org 的 XML，会转义地址、支持可选的 lastmod 日期、去除重复项，并把大列表按每个文件 50,000 个 URL 拆分，同时生成站点地图索引。抓取功能只跟随同一主机的链接，遵守 robots.txt 和 noindex，并从页面元数据中读取 lastmod。robots.txt 只是礼貌的爬虫会遵守的建议，不是访问控制：它无法对用户或无视它的爬虫隐藏页面。
隐私
robots.txt 生成器、测试器以及由粘贴列表生成的站点地图都在浏览器中运行，不会发送任何内容。只有“抓取我的网站”会用到我们的服务器：它接收起始地址，获取你的公开页面和 robots.txt，并把找到的 URL 实时传回给你，不会保存这些内容。
功能
识别 AI 爬虫
内置 21 个爬虫标记，从 Googlebot 到 GPTBot、ClaudeBot 和 PerplexityBot，并按用途标注。
RFC 9309 测试器
针对任意 URL 和任意爬虫，按最长匹配给出结论，并指出起决定作用的行。
可扩展的站点地图
支持粘贴或抓取、lastmod 日期、去重，超过 50,000 个 URL 时自动生成索引文件。