Ir para o conteúdo

Gerar robots.txt e sitemap XML

Escreva regras de robots.txt para crawlers de busca e de IA, teste qualquer URL com elas e crie um sitemap XML a partir de uma lista de URLs no seu navegador ou de um rastreamento que nosso servidor faz no seu site.

Grupo 1

* (todos os rastreadores)

O Google ignora; Bing e Yandex respeitam

Linhas de sitemap

robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Quem pode rastrear sua página inicial

  • GooglebotMecanismo de busca
  • Googlebot-ImageMecanismo de busca
  • BingbotMecanismo de busca
  • DuckDuckBotMecanismo de busca
  • ApplebotMecanismo de busca
  • YandexBotMecanismo de busca
  • BaiduspiderMecanismo de busca
  • OAI-SearchBotBusca com IA
  • ChatGPT-UserAcesso de usuário por IA
  • GPTBotTreinamento de IA
  • Claude-SearchBotBusca com IA
  • Claude-UserAcesso de usuário por IA
  • ClaudeBotTreinamento de IA
  • PerplexityBotBusca com IA
  • Perplexity-UserAcesso de usuário por IA
  • Google-ExtendedTreinamento de IA
  • Applebot-ExtendedTreinamento de IA
  • CCBotTreinamento de IA
  • Meta-ExternalAgentTreinamento de IA
  • BytespiderTreinamento de IA
  • AmazonbotTreinamento de IA
Processado no nosso servidor · os resultados do rastreamento não são armazenadosComo funciona

Como usar: Gerador de robots.txt e sitemap

  1. 1

    Escolha um ponto de partida

    Escolha uma predefinição, como Bloquear treinamento de IA, manter busca com IA, ou comece por Permitir tudo e edite os grupos.

  2. 2

    Adicione grupos e regras

    Em cada grupo, escolha os rastreadores, do Googlebot ao GPTBot e ao ClaudeBot, e depois adicione os caminhos de Allow e Disallow e a URL do seu sitemap.

  3. 3

    Teste URLs reais

    Abra o Testador, cole qualquer URL ou caminho e veja qual regra decide para cada rastreador, com a mesma lógica de correspondência mais longa que o Google usa.

  4. 4

    Crie o sitemap

    Cole suas URLs ou deixe nosso servidor rastrear seu site e depois baixe o sitemap.xml, ou um ZIP com um índice quando você tiver mais de 50.000 URLs.

Limites e Pro

Grátis: rastreamentos de até 300 páginas com 3 requisições paralelas, 10 segundos por página e 90 segundos por rastreamento, 3 rastreamentos a cada 10 minutos; listas coladas de até 200.000 URLs; arquivos de sitemap divididos em 50.000 URLs ou 50 MB.

Sobre: Gerador de robots.txt e sitemap

Este gerador cobre os dois arquivos que dizem aos rastreadores o que buscar. O construtor de robots.txt escreve grupos de linhas User-agent com regras Allow e Disallow, valores opcionais de Crawl-delay e linhas Sitemap. A lista de rastreadores inclui mecanismos de busca e os agentes de IA sobre os quais os donos de sites mais perguntam: GPTBot, OAI-SearchBot e ChatGPT-User, da OpenAI; ClaudeBot, Claude-SearchBot e Claude-User, da Anthropic; PerplexityBot; e tokens de controle como Google-Extended e Applebot-Extended, cada um identificado como treinamento, busca ou uso iniciado pelo usuário. Um painel lateral mostra rapidamente quais rastreadores podem acessar sua página inicial.

O testador aplica a RFC 9309, o padrão do Protocolo de Exclusão de Robôs: o rastreador segue o grupo que o cita ou o grupo *; vence o padrão correspondente mais longo, Allow vence em caso de empate, * corresponde a qualquer coisa e $ marca o fim da URL. Ele funciona com as regras do construtor ou com qualquer robots.txt que você colar, e lista as linhas que os rastreadores vão ignorar.

O gerador de sitemap cria XML no padrão sitemaps.org, com endereços escapados e datas lastmod opcionais, remove duplicatas e divide listas grandes em arquivos de 50.000 URLs com um índice de sitemaps. O rastreador segue links do mesmo host, respeita o robots.txt e o noindex e lê o lastmod nos metadados das páginas. O robots.txt é um aviso que rastreadores educados seguem, não um controle de acesso: ele não esconde páginas de pessoas nem de rastreadores que o ignoram.

Privacidade

O construtor de robots.txt, o testador e os sitemaps feitos a partir de uma lista colada rodam no seu navegador e não enviam nada. Só o Rastrear meu site usa nosso servidor: ele recebe o endereço inicial, busca suas páginas públicas e o robots.txt, e devolve para você as URLs encontradas sem armazená-las.

Recursos

Reconhece rastreadores de IA

21 tokens de rastreadores, do Googlebot ao GPTBot, ClaudeBot e PerplexityBot, identificados por finalidade.

Testador RFC 9309

Resultados por correspondência mais longa, com a linha decisiva, para qualquer URL e qualquer rastreador.

Sitemaps que escalam

Cole ou rastreie, com datas lastmod, remoção de duplicatas e arquivos de índice automáticos acima de 50.000 URLs.

Gerador de robots.txt e sitemap: perguntas frequentes

Devo bloquear rastreadores de IA no robots.txt?
Depende do que você quer. Rastreadores de treinamento, como GPTBot, ClaudeBot, CCBot e o token Google-Extended, coletam conteúdo para treinar modelos, e bloqueá-los não afeta o ranking na busca. Agentes de busca, como OAI-SearchBot, Claude-SearchBot e PerplexityBot, definem se assistentes podem citar e linkar seu site, então bloqueá-los tira você dessas respostas. A predefinição Bloquear treinamento de IA, manter busca com IA separa os dois casos.
Como o robots.txt decide entre Allow e Disallow?
Pela RFC 9309, o rastreador escolhe primeiro o grupo que cita seu user agent, ou o grupo * se nenhum citar; os grupos não são combinados com o *. Dentro desse grupo, vence a regra cujo padrão de caminho corresponde à parte mais longa da URL e, se um padrão Allow e um Disallow tiverem o mesmo tamanho, o Allow vence. O testador mostra a regra decisiva e o número da linha.
O Google respeita o Crawl-delay?
Não. O Googlebot ignora o Crawl-delay e ajusta sozinho a taxa de rastreamento conforme a velocidade de resposta do seu servidor. Bing, Yandex e alguns outros rastreadores o respeitam, assim como nosso rastreador de sitemap, que então busca uma página por vez com essa pausa, de até 10 segundos. Use com moderação: um atraso longo deixa lenta a descoberta de novas páginas por esses rastreadores.
O que o rastreamento do site envia ao servidor e guarda?
O Rastrear meu site envia o endereço inicial ao nosso servidor, que busca seu robots.txt e depois as páginas públicas do mesmo host, até o seu limite de páginas, identificando-se como ToolsSitemapBot. Ele devolve cada URL encontrada ao seu navegador e não guarda nada depois: nenhum conteúdo de página, lista de URLs ou registro do seu site é armazenado. Todo o resto desta página roda no seu navegador.
Quando preciso de um índice de sitemaps?
Um único arquivo de sitemap pode ter no máximo 50.000 URLs e 50 MB sem compactação. Acima disso, o gerador divide a lista em sitemap-1.xml, sitemap-2.xml e assim por diante, mais um sitemap-index.xml que aponta para eles, e baixa um ZIP. Envie todos os arquivos para a pasta que você informou, depois envie o índice no Search Console e adicione uma linha Sitemap para ele no robots.txt.

Outras tarefas com esta ferramenta

Ferramentas relacionadas

Todas: ferramentas para desenvolvedores

Verificador de velocidade e SEO

Auditoria de SEO on-page com Core Web Vitals e correções

Prévia de Open Graph e meta tags

Veja seu link no Google, Facebook, X, LinkedIn e Slack

Gerador de política de privacidade e termos

Rascunhos de política de privacidade, termos e cookies

Qual é o meu IP e consulta DNS

Seu endereço IP público e os registros DNS de qualquer domínio