Cómo usar Generador de robots.txt y sitemap
- 1
Elige un punto de partida
Elige un ajuste predefinido, como Bloquear entrenamiento de IA, mantener búsqueda con IA, o empieza desde Permitir todo y edita los grupos.
- 2
Añade grupos y reglas
En cada grupo elige los rastreadores, desde Googlebot hasta GPTBot y ClaudeBot, y luego añade rutas Allow y Disallow y la URL de tu sitemap.
- 3
Prueba URL reales
Abre Probador, pega cualquier URL o ruta y comprueba qué regla decide para cada rastreador, con la misma lógica de coincidencia más larga que usa Google.
- 4
Crea el sitemap
Pega tus URL o deja que nuestro servidor rastree tu sitio y descarga sitemap.xml, o un ZIP con un índice si tienes más de 50 000 URL.
Límites y Pro
Gratis: rastreos de hasta 300 páginas con 3 solicitudes en paralelo, 10 segundos por página y 90 segundos por rastreo, 3 rastreos cada 10 minutos; listas pegadas de hasta 200 000 URL; archivos de sitemap divididos a las 50 000 URL o 50 MB.
Acerca de Generador de robots.txt y sitemap
Este generador cubre los dos archivos que indican a los rastreadores qué pueden descargar. El generador de robots.txt escribe grupos de líneas User-agent con reglas Allow y Disallow, valores opcionales de Crawl-delay y líneas Sitemap. Su lista de rastreadores incluye buscadores y los agentes de IA por los que más preguntan los propietarios de sitios: GPTBot, OAI-SearchBot y ChatGPT-User de OpenAI, ClaudeBot, Claude-SearchBot y Claude-User de Anthropic, PerplexityBot y tokens de control como Google-Extended y Applebot-Extended, cada uno etiquetado como entrenamiento, búsqueda o iniciado por el usuario. Un panel lateral muestra de un vistazo qué rastreadores pueden acceder a tu página de inicio.
El probador aplica la RFC 9309, el estándar del Protocolo de exclusión de robots: un rastreador sigue el grupo que lo nombra o, si no existe, el grupo *; gana el patrón coincidente más largo, Allow gana en caso de empate, * coincide con cualquier cosa y $ marca el final de la URL. Funciona con las reglas del generador o con cualquier robots.txt que pegues, y enumera las líneas que los rastreadores ignorarán.
El generador de sitemaps escribe XML de sitemaps.org con ubicaciones escapadas y fechas lastmod opcionales, elimina duplicados y divide las listas grandes en archivos de 50 000 URL con un índice de sitemaps. Su rastreador sigue enlaces del mismo host, respeta robots.txt y noindex, y lee lastmod de los metadatos de la página. robots.txt es una indicación que siguen los rastreadores respetuosos, no un control de acceso: no puede ocultar páginas a las personas ni a los rastreadores que lo ignoran.
Privacidad
El generador de robots.txt, el probador y los sitemaps creados a partir de una lista pegada se ejecutan en tu navegador y no envían nada. Solo Rastrear mi sitio usa nuestro servidor: recibe la dirección de inicio, descarga tus páginas públicas y el robots.txt, y te devuelve en streaming las URL que encuentra sin guardarlas.
Características
Pensado para rastreadores de IA
21 tokens de rastreadores con nombre, desde Googlebot hasta GPTBot, ClaudeBot y PerplexityBot, etiquetados por finalidad.
Probador RFC 9309
Veredictos por coincidencia más larga, con la línea decisiva, para cualquier URL y cualquier rastreador.
Sitemaps que escalan
Pega o rastrea, fechas lastmod, eliminación de duplicados y archivos de índice automáticos a partir de 50 000 URL.