Як користуватися: Генератор robots.txt і sitemap
- 1
Оберіть відправну точку
Виберіть готовий набір, наприклад «Заборонити навчання ШІ, залишити пошук ШІ», або почніть із «Дозволити все» і відредагуйте групи.
- 2
Додайте групи та правила
Для кожної групи оберіть краулери, від Googlebot до GPTBot і ClaudeBot, а потім додайте шляхи Allow і Disallow та адресу вашої мапи сайту.
- 3
Перевірте реальні URL
Відкрийте вкладку «Перевірка», вставте будь-який URL або шлях і подивіться, яке правило спрацьовує для кожного краулера. Використовується та сама логіка найдовшого збігу, що й у Google.
- 4
Створіть мапу сайту
Вставте свої URL або дозвольте нашому серверу просканувати сайт, а потім завантажте sitemap.xml. Якщо URL понад 50 000, отримаєте ZIP з індексним файлом.
Ліміти та Pro
Безкоштовно: сканування до 300 сторінок із 3 паралельними запитами, 10 секунд на сторінку та 90 секунд на сканування, 3 скановання кожні 10 хвилин; вставлені списки до 200 000 URL; файли мапи сайту розбиваються за 50 000 URL або 50 MB.
Про інструмент: Генератор robots.txt і sitemap
Цей генератор охоплює два файли, які підказують краулерам, що саме завантажувати. Конструктор robots.txt записує групи рядків User-agent із правилами Allow і Disallow, необовʼязковими значеннями Crawl-delay та рядками Sitemap. У списку краулерів є пошукові системи й ШІ-агенти, про які власники сайтів питають найчастіше: GPTBot, OAI-SearchBot і ChatGPT-User від OpenAI, ClaudeBot, Claude-SearchBot і Claude-User від Anthropic, PerplexityBot, а також керівні токени на кшталт Google-Extended і Applebot-Extended. Кожен позначено як навчання, пошук або запит користувача. Бічна панель одразу показує, які краулери можуть завантажувати вашу головну сторінку.
Перевірка застосовує RFC 9309, стандарт Robots Exclusion Protocol: краулер дотримується групи, у якій його названо, а якщо такої немає — групи *; перемагає найдовший збіг шаблону, за однакової довжини виграє Allow, * відповідає будь-чому, а $ позначає кінець URL. Вона працює з правилами конструктора або з будь-яким вставленим robots.txt і показує рядки, які краулери проігнорують.
Генератор мапи сайту створює XML за стандартом sitemaps.org з екранованими адресами та необовʼязковими датами lastmod, видаляє дублікати й розбиває великі списки на файли по 50 000 URL з індексним файлом. Краулер ходить за посиланнями в межах одного хоста, поважає robots.txt і noindex та читає lastmod із метаданих сторінок. robots.txt — це рекомендація, якої дотримуються сумлінні краулери, а не контроль доступу: він не сховає сторінки ні від людей, ні від краулерів, що його ігнорують.
Приватність
Конструктор robots.txt, перевірка та мапи сайту зі вставленого списку працюють у вашому браузері й нічого не надсилають. Сервер використовує лише «Сканувати мій сайт»: він отримує початкову адресу, завантажує ваші публічні сторінки та robots.txt і передає знайдені URL вам, не зберігаючи їх.
Можливості
Підтримка ШІ-краулерів
21 іменований токен краулера, від Googlebot до GPTBot, ClaudeBot і PerplexityBot, із позначками за призначенням.
Перевірка за RFC 9309
Вердикти за найдовшим збігом із рядком, що спрацював, для будь-якого URL і будь-якого краулера.
Мапи сайту будь-якого розміру
Вставлення або сканування, дати lastmod, видалення дублікатів і автоматичні індексні файли для понад 50 000 URL.