Robots.txt және сайт картасы генераторы құралын қалай қолдану керек
- 1
Бастапқы нұсқаны таңдаңыз
ЖИ оқытуын бұғаттау, ЖИ іздеуін қалдыру сияқты дайын нұсқаны таңдаңыз немесе Барлығына рұқсат ету нұсқасынан бастап, топтарды өзіңіз өңдеңіз.
- 2
Топтар мен ережелерді қосыңыз
Әр топ үшін Googlebot-тан GPTBot және ClaudeBot-қа дейінгі роботтарды таңдаңыз, содан кейін Allow және Disallow жолдарын және sitemap URL мекенжайын қосыңыз.
- 3
Нақты URL мекенжайларын тексеріңіз
Тексергіш қойындысын ашып, кез келген URL немесе жолды қойыңыз. Google қолданатын ең ұзын сәйкестік логикасымен әр робот үшін қай ереже шешім қабылдайтынын көресіз.
- 4
Сайт картасын жасаңыз
URL тізімін қойыңыз немесе сайтыңызды серверіміз сканерлесін. Содан кейін sitemap.xml жүктеп алыңыз; URL саны 50 000-нан асса, индексі бар ZIP мұрағатын аласыз.
Шектеулер және Pro
Тегін: 300 бетке дейін сканерлеу, 3 параллель сұраныс, бетке 10 секунд және сканерлеуге 90 секунд, 10 минутта 3 сканерлеу; қойылған тізімде 200 000 URL-ға дейін; сайт картасы файлдары 50 000 URL немесе 50 MB бойынша бөлінеді.
Robots.txt және сайт картасы генераторы туралы
Бұл генератор роботтарға нені жүктеу керегін айтатын екі файлды қамтиды. robots.txt құрастырғышы User-agent жолдарынан тұратын топтарды Allow және Disallow ережелерімен, қосымша Crawl-delay мәндерімен және Sitemap жолдарымен жазады. Роботтар тізімінде іздеу жүйелері мен сайт иелері жиі сұрайтын ЖИ агенттері бар: OpenAI-дың GPTBot, OAI-SearchBot және ChatGPT-User, Anthropic-тің ClaudeBot, Claude-SearchBot және Claude-User, PerplexityBot, сондай-ақ Google-Extended және Applebot-Extended сияқты басқару токендері. Әрқайсысы оқыту, іздеу немесе пайдаланушы бастаған сұрау ретінде белгіленген. Бүйірлік панель басты бетіңізді қай роботтар жүктей алатынын бірден көрсетеді.
Тексергіш Robots Exclusion Protocol стандарты RFC 9309 бойынша жұмыс істейді: робот өзін атайтын топты немесе * тобын орындайды; ең ұзын сәйкес келетін үлгі басым болады, тең болса Allow басым, * кез келген мәнге сәйкес келеді, ал $ URL соңын белгілейді. Ол құрастырғыштағы ережелермен немесе өзіңіз қойған кез келген robots.txt мәтінімен жұмыс істейді және роботтар елемейтін жолдарды көрсетеді.
Сайт картасының генераторы sitemaps.org форматындағы XML жазады: мекенжайлар экрандалады, lastmod күндері қосымша, қайталанғандары алынады, ірі тізімдер 50 000 URL-дық файлдарға бөлініп, sitemap индексі жасалады. Сканер сол хосттағы сілтемелерді ізбе-із қарап, robots.txt пен noindex талаптарын сақтайды және lastmod мәнін бет метадеректерінен оқиды. robots.txt — сыпайы роботтар орындайтын ұсыныс қана, қолжетімділікті басқару емес: ол беттерді адамдардан немесе оны елемейтін роботтардан жасыра алмайды.
Құпиялылық
robots.txt құрастырғышы, тексергіш және қойылған тізімнен жасалатын сайт карталары браузеріңізде жұмыс істейді және ешнәрсе жібермейді. Тек Сайтымды сканерлеу серверді қолданады: ол бастапқы мекенжайды алып, жалпыға ашық беттеріңіз бен robots.txt файлын жүктейді және тапқан URL мекенжайларын сақтамай, өзіңізге қайтарады.
Мүмкіндіктер
ЖИ роботтарын ескереді
Googlebot-тан GPTBot, ClaudeBot және PerplexityBot-қа дейінгі 21 атаулы робот токені мақсаты бойынша белгіленген.
RFC 9309 тексергіші
Кез келген URL және робот үшін шешуші жолы бар ең ұзын сәйкестік нәтижесі.
Өсетін сайт карталары
Қою немесе сканерлеу, lastmod күндері, қайталануды алып тастау және 50 000 URL-дан асса индекс файлдары автоматты түрде жасалады.