Comment utiliser Générateur robots.txt et sitemap
- 1
Choisissez un point de départ
Sélectionnez un préréglage comme Bloquer l’entraînement des IA, garder la recherche IA, ou partez de Tout autoriser et modifiez les groupes.
- 2
Ajoutez des groupes et des règles
Pour chaque groupe, choisissez les robots, de Googlebot à GPTBot et ClaudeBot, puis ajoutez des chemins Allow et Disallow ainsi que l’URL de votre sitemap.
- 3
Testez de vraies URL
Ouvrez Testeur, collez une URL ou un chemin et voyez quelle règle tranche pour chaque robot, avec la même logique de correspondance la plus longue que Google.
- 4
Créez le sitemap
Collez vos URL ou laissez notre serveur explorer votre site, puis téléchargez sitemap.xml, ou un ZIP avec un index au-delà de 50 000 URL.
Limites et Pro
Gratuit : explorations jusqu’à 300 pages avec 3 requêtes en parallèle, 10 secondes par page et 90 secondes par exploration, 3 explorations toutes les 10 minutes ; listes collées jusqu’à 200 000 URL ; fichiers sitemap découpés à 50 000 URL ou 50 Mo.
À propos de Générateur robots.txt et sitemap
Ce générateur couvre les deux fichiers qui indiquent aux robots d’exploration ce qu’ils peuvent récupérer. Le créateur de robots.txt écrit des groupes de lignes User-agent avec des règles Allow et Disallow, des valeurs Crawl-delay facultatives et des lignes Sitemap. Sa liste de robots comprend les moteurs de recherche et les agents d’IA dont les propriétaires de sites parlent le plus : GPTBot, OAI-SearchBot et ChatGPT-User d’OpenAI, ClaudeBot, Claude-SearchBot et Claude-User d’Anthropic, PerplexityBot, ainsi que des jetons de contrôle comme Google-Extended et Applebot-Extended, chacun indiqué comme entraînement, recherche ou action déclenchée par un utilisateur. Un panneau latéral montre d’un coup d’œil quels robots peuvent accéder à votre page d’accueil.
Le testeur applique la RFC 9309, la norme du protocole d’exclusion des robots : un robot suit le groupe qui le nomme, ou à défaut le groupe * ; le motif correspondant le plus long l’emporte, Allow gagne en cas d’égalité, * remplace n’importe quelle suite de caractères et $ marque la fin de l’URL. Il fonctionne avec les règles du créateur ou avec n’importe quel robots.txt collé, et signale les lignes que les robots ignoreront.
Le générateur de sitemap produit du XML sitemaps.org avec des adresses correctement échappées et des dates lastmod facultatives, supprime les doublons et découpe les longues listes en fichiers de 50 000 URL avec un index. Son explorateur suit les liens du même hôte, respecte robots.txt et noindex, et lit lastmod dans les métadonnées des pages. Le fichier robots.txt est une consigne que suivent les robots respectueux, pas un contrôle d’accès : il ne peut pas cacher des pages aux visiteurs ni aux robots qui l’ignorent.
Confidentialité
Le créateur de robots.txt, le testeur et les sitemaps générés à partir d’une liste collée fonctionnent dans votre navigateur et n’envoient rien. Seule l’option Explorer mon site utilise notre serveur : il reçoit l’adresse de départ, récupère vos pages publiques et robots.txt, puis vous renvoie en continu les URL trouvées, sans les conserver.
Fonctionnalités
Compatible avec les robots d’IA
21 jetons de robots nommés, de Googlebot à GPTBot, ClaudeBot et PerplexityBot, classés par finalité.
Testeur RFC 9309
Verdicts à correspondance la plus longue, avec la ligne décisive, pour toute URL et tout robot.
Des sitemaps à grande échelle
Collez ou explorez, dates lastmod, suppression des doublons et fichiers d’index automatiques au-delà de 50 000 URL.