robots.txt va sitemap generatori: foydalanish tartibi
- 1
Boshlangʻich nuqtani tanlang
“AI oʻqitishni toʻsish, AI qidiruvni qoldirish” kabi tayyor shablonni tanlang yoki “Hammasiga ruxsat berish” dan boshlab guruhlarni tahrirlang.
- 2
Guruh va qoidalar qoʻshing
Har bir guruh uchun Googlebot dan GPTBot va ClaudeBot gacha robotlarni tanlang, soʻng Allow va Disallow yoʻllarini hamda sitemap URL manzilingizni qoʻshing.
- 3
Haqiqiy URL larni sinang
“Tekshirish” yorligʻini oching, istalgan URL yoki yoʻlni joylang va Google ishlatadigan eng uzun moslik mantiqi boʻyicha har bir robot uchun qaysi qoida hal qilishini koʻring.
- 4
Sitemap ni tuzing
URL laringizni joylang yoki saytingizni serverimizga skanerlating, soʻng sitemap.xml ni yoki 50 000 dan ortiq URL boʻlsa, indeks fayli bilan ZIP ni yuklab oling.
Cheklovlar va Pro
Bepul: 3 ta parallel soʻrov bilan 300 tagacha sahifali skanerlash, har bir sahifaga 10 soniya va butun skanerlashga 90 soniya, har 10 daqiqada 3 ta skanerlash; 200 000 tagacha URL li roʻyxatlar; sitemap fayllari 50 000 URL yoki 50 MB da boʻlinadi.
robots.txt va sitemap generatori haqida
Bu generator robotlarga nimani yuklash kerakligini aytadigan ikkala faylni qamraydi. robots.txt konstruktori Allow va Disallow qoidalari, ixtiyoriy Crawl-delay qiymatlari va Sitemap qatorlari bilan User-agent qatorlari guruhlarini yozadi. Robotlar roʻyxatida qidiruv tizimlari va sayt egalari eng koʻp soʻraydigan AI agentlari bor: OpenAI ning GPTBot, OAI-SearchBot va ChatGPT-User robotlari, Anthropic ning ClaudeBot, Claude-SearchBot va Claude-User robotlari, PerplexityBot hamda Google-Extended va Applebot-Extended kabi boshqaruv tokenlari — har biri oʻqitish, qidiruv yoki foydalanuvchi soʻrovi deb belgilangan. Yon panel bosh sahifangizni qaysi robotlar yuklay olishini bir qarashda koʻrsatadi.
Tekshirgich robotlarni chetlatish protokoli standarti RFC 9309 ni qoʻllaydi: robot oʻzini nomlagan guruhga yoki * guruhiga amal qiladi; eng uzun mos keladigan andoza gʻolib boʻladi, uzunlik teng boʻlsa Allow ustun keladi, * istalgan belgilarga mos keladi, $ esa URL oxirini bildiradi. U konstruktordagi qoidalar yoki siz joylagan istalgan robots.txt bilan ishlaydi va robotlar eʼtiborsiz qoldiradigan qatorlarni sanab beradi.
Sitemap generatori sitemaps.org formatida, manzillari ekranlangan va ixtiyoriy lastmod sanalari bilan XML yozadi, takrorlarni olib tashlaydi va katta roʻyxatlarni sitemap indeksi bilan 50 000 URL dan iborat fayllarga boʻladi. Uning skaneri bir xostdagi havolalar boʻyicha yuradi, robots.txt va noindex ga amal qiladi hamda lastmod ni sahifa metamaʼlumotlaridan oladi. robots.txt kirishni cheklash vositasi emas, odobli robotlar amal qiladigan tavsiya: u sahifalarni odamlardan yoki unga amal qilmaydigan robotlardan yashira olmaydi.
Maxfiylik
robots.txt konstruktori, tekshirgich va joylangan roʻyxatdan tuzilgan sitemap lar butunlay brauzeringizda ishlaydi va hech narsa yubormaydi. Faqat “Saytimni skanerlash” serverimizdan foydalanadi: u boshlangʻich manzilni oladi, ochiq sahifalaringiz va robots.txt faylini yuklaydi hamda topilgan URL larni saqlamasdan sizga oqim tarzida qaytaradi.
Imkoniyatlar
AI robotlarini biladi
Googlebot dan GPTBot, ClaudeBot va PerplexityBot gacha 21 ta nomli robot tokeni, maqsadi boʻyicha belgilangan.
RFC 9309 tekshirgichi
Istalgan URL va istalgan robot uchun hal qiluvchi qatori bilan eng uzun moslik xulosasi.
Kattalashadigan sitemap lar
Joylash yoki skanerlash, lastmod sanalari, takrorlarni olib tashlash va 50 000 URL dan oshganda avtomatik indeks fayllari.