Как пользоваться: Генератор robots.txt и sitemap
- 1
Выберите отправную точку
Возьмите готовый набор, например «Запретить обучение ИИ, оставить поиск ИИ», или начните с «Разрешить всё» и отредактируйте группы.
- 2
Добавьте группы и правила
Для каждой группы выберите роботов, от Googlebot до GPTBot и ClaudeBot, затем добавьте пути Allow и Disallow и адрес карты сайта.
- 3
Проверьте реальные URL
Откройте «Проверка», вставьте любой URL или путь и посмотрите, какое правило сработает для каждого робота. Используется та же логика самого длинного совпадения, что и у Google.
- 4
Соберите карту сайта
Вставьте список URL или поручите нашему серверу просканировать сайт, затем скачайте sitemap.xml. Если URL больше 50 000, вы получите ZIP-архив с индексным файлом.
Лимиты и Pro
Бесплатно: сканирование до 300 страниц, 3 параллельных запроса, 10 секунд на страницу и 90 секунд на сканирование, 3 сканирования за 10 минут; вставленные списки до 200 000 URL; файлы карты сайта делятся при 50 000 URL или 50 MB.
О инструменте «Генератор robots.txt и sitemap»
Генератор готовит два файла, которые подсказывают роботам, что можно загружать. Конструктор robots.txt собирает группы строк User-agent с правилами Allow и Disallow, при необходимости добавляет значения Crawl-delay и строки Sitemap. В списке роботов есть поисковые системы и ИИ-агенты, о которых владельцы сайтов спрашивают чаще всего: GPTBot, OAI-SearchBot и ChatGPT-User от OpenAI, ClaudeBot, Claude-SearchBot и Claude-User от Anthropic, PerplexityBot, а также управляющие токены вроде Google-Extended и Applebot-Extended. Каждый помечен как обучение, поиск или запрос пользователя. Боковая панель сразу показывает, каким роботам разрешена главная страница.
Проверка применяет RFC 9309, стандарт протокола исключений для роботов: робот следует группе со своим именем или группе *; побеждает самый длинный подходящий шаблон, при равенстве выигрывает Allow, * заменяет любые символы, а $ закрепляет конец URL. Проверка работает с правилами из конструктора или с любым вставленным robots.txt и перечисляет строки, которые роботы проигнорируют.
Генератор карты сайта создаёт XML по стандарту sitemaps.org с экранированными адресами и необязательными датами lastmod, убирает дубликаты и делит большие списки на файлы по 50 000 URL с индексным файлом. Сканер переходит по ссылкам в пределах того же хоста, учитывает robots.txt и noindex и берёт lastmod из метаданных страниц. robots.txt — рекомендация, которой следуют добросовестные роботы, а не защита доступа: он не скроет страницы ни от людей, ни от роботов, которые его игнорируют.
Конфиденциальность
Конструктор robots.txt, проверка и карты сайта из вставленного списка работают в браузере и ничего не отправляют. Сервер задействован только в режиме «Просканировать сайт»: он получает начальный адрес, загружает ваши публичные страницы и robots.txt и передаёт найденные URL вам, не сохраняя их.
Возможности
Учёт ИИ-роботов
21 именованный токен роботов, от Googlebot до GPTBot, ClaudeBot и PerplexityBot, с пометкой назначения.
Проверка по RFC 9309
Вердикты по самому длинному совпадению и строка с решающим правилом для любого URL и робота.
Карты сайта любого размера
Вставка или сканирование, даты lastmod, удаление дубликатов и автоматические индексные файлы при более чем 50 000 URL.