Zo gebruik je Robots.txt- en sitemapgenerator
- 1
Kies een beginpunt
Kies een preset zoals AI-training blokkeren, AI-zoeken behouden, of begin met Alles toestaan en pas de groepen aan.
- 2
Voeg groepen en regels toe
Kies per groep de crawlers, van Googlebot tot GPTBot en ClaudeBot. Voeg daarna Allow- en Disallow-paden en de URL van je sitemap toe.
- 3
Test echte URL's
Open Tester, plak een URL of pad en zie welke regel per crawler de doorslag geeft, met dezelfde longest-match-logica als Google.
- 4
Maak de sitemap
Plak je URL's of laat onze server je site crawlen. Download daarna sitemap.xml, of een ZIP met een index als je meer dan 50.000 URL's hebt.
Limieten en Pro
Gratis: crawls tot 300 pagina's met 3 parallelle verzoeken, 10 seconden per pagina en 90 seconden per crawl, 3 crawls per 10 minuten; geplakte lijsten tot 200.000 URL's; sitemapbestanden gesplitst bij 50.000 URL's of 50 MB.
Over Robots.txt- en sitemapgenerator
Deze generator maakt de twee bestanden die crawlers vertellen wat ze mogen ophalen. De robots.txt-builder schrijft groepen User-agent-regels met Allow- en Disallow-regels, optionele Crawl-delay-waarden en Sitemap-regels. De crawlerlijst bevat zoekmachines en de AI-agents waar site-eigenaren het vaakst naar vragen: GPTBot, OAI-SearchBot en ChatGPT-User van OpenAI, ClaudeBot, Claude-SearchBot en Claude-User van Anthropic, PerplexityBot, en controletokens zoals Google-Extended en Applebot-Extended. Elk is gelabeld als training, zoeken of door de gebruiker gestart. Een zijpaneel toont in één oogopslag welke crawlers je homepage mogen ophalen.
De tester past RFC 9309 toe, de standaard van het Robots Exclusion Protocol: een crawler volgt de groep die hem noemt, of anders de *-groep; het langst passende patroon wint, bij gelijke lengte wint Allow, * past op alles en $ verankert het einde van de URL. Hij werkt met de regels uit de builder of met elke robots.txt die je plakt, en toont regels die crawlers negeren.
De sitemapgenerator schrijft XML volgens sitemaps.org met geëscapete locaties en optionele lastmod-datums, verwijdert dubbelen en splitst grote lijsten in bestanden van 50.000 URL's met een sitemapindex. De crawler volgt links op dezelfde host, houdt zich aan robots.txt en noindex, en leest lastmod uit de metadata van pagina's. robots.txt is een verzoek dat beleefde crawlers volgen, geen toegangscontrole: het verbergt pagina's niet voor mensen of voor crawlers die het negeren.
Privacy
De robots.txt-builder, de tester en sitemaps uit een geplakte lijst draaien in je browser en versturen niets. Alleen Mijn site crawlen gebruikt onze server: die ontvangt het startadres, haalt je openbare pagina's en robots.txt op en stuurt de gevonden URL's naar je terug zonder ze op te slaan.
Functies
Kent AI-crawlers
21 benoemde crawlertokens, van Googlebot tot GPTBot, ClaudeBot en PerplexityBot, gelabeld op doel.
RFC 9309-tester
Longest-match-uitkomsten met de beslissende regel voor elke URL en elke crawler.
Sitemaps die meegroeien
Plakken of crawlen, lastmod-datums, ontdubbeling en automatische indexbestanden boven 50.000 URL's.