Come usare Generatore di robots.txt e sitemap
- 1
Scegli un punto di partenza
Scegli un preset come Blocca l'addestramento IA, mantieni la ricerca IA, oppure parti da Consenti tutto e modifica i gruppi.
- 2
Aggiungi gruppi e regole
Per ogni gruppo scegli i crawler, da Googlebot a GPTBot e ClaudeBot, poi aggiungi i percorsi Allow e Disallow e l'URL della tua sitemap.
- 3
Prova URL reali
Apri Tester, incolla un URL o un percorso qualsiasi e scopri quale regola decide per ogni crawler, con la stessa logica della corrispondenza più lunga che usa Google.
- 4
Crea la sitemap
Incolla i tuoi URL oppure lascia che sia il nostro server a scansionare il sito, poi scarica sitemap.xml, o uno ZIP con un indice se hai più di 50.000 URL.
Limiti e Pro
Gratis: scansioni fino a 300 pagine con 3 richieste in parallelo, 10 secondi per pagina e 90 secondi per scansione, 3 scansioni ogni 10 minuti; elenchi incollati fino a 200.000 URL; file sitemap divisi a 50.000 URL o 50 MB.
Informazioni su Generatore di robots.txt e sitemap
Questo generatore copre i due file che dicono ai crawler cosa scaricare. Il generatore di robots.txt scrive gruppi di righe User-agent con regole Allow e Disallow, valori Crawl-delay facoltativi e righe Sitemap. L'elenco dei crawler comprende i motori di ricerca e gli agenti IA di cui i proprietari dei siti chiedono più spesso: GPTBot, OAI-SearchBot e ChatGPT-User di OpenAI, ClaudeBot, Claude-SearchBot e Claude-User di Anthropic, PerplexityBot e token di controllo come Google-Extended e Applebot-Extended, ciascuno indicato come addestramento, ricerca o richiesta dell'utente. Un pannello laterale mostra a colpo d'occhio quali crawler possono scaricare la tua home page.
Il tester applica la RFC 9309, lo standard del Robots Exclusion Protocol: un crawler segue il gruppo che lo nomina, oppure il gruppo *; vince il pattern corrispondente più lungo, in caso di parità vince Allow, * corrisponde a qualsiasi cosa e $ ancora la fine dell'URL. Funziona con le regole del generatore o con qualsiasi robots.txt incolli, ed elenca le righe che i crawler ignoreranno.
Il generatore di sitemap scrive XML sitemaps.org con indirizzi correttamente escapati e date lastmod facoltative, rimuove i duplicati e divide gli elenchi lunghi in file da 50.000 URL con un indice delle sitemap. Il suo crawler segue i link dello stesso host, rispetta robots.txt e noindex e legge lastmod dai metadati della pagina. robots.txt è un'indicazione che i crawler corretti seguono, non un controllo degli accessi: non può nascondere le pagine alle persone né ai crawler che lo ignorano.
Privacy
Il generatore di robots.txt, il tester e le sitemap create da un elenco incollato funzionano tutti nel tuo browser e non inviano nulla. Solo Scansiona il mio sito usa il nostro server: riceve l'indirizzo di partenza, scarica le tue pagine pubbliche e robots.txt e ti restituisce in streaming gli URL trovati, senza memorizzarli.
Funzionalità
Attento ai crawler IA
21 token di crawler con nome, da Googlebot a GPTBot, ClaudeBot e PerplexityBot, classificati per scopo.
Tester RFC 9309
Verdetti con corrispondenza più lunga e riga decisiva per qualsiasi URL e qualsiasi crawler.
Sitemap che crescono con te
Incolla o scansiona, date lastmod, rimozione dei duplicati e file indice automatici oltre i 50.000 URL.