सीधे कंटेंट पर जाएँ

robots.txt और XML sitemap जनरेट करें

सर्च और AI क्रॉलर के लिए robots.txt नियम लिखें, किसी भी URL को उनके हिसाब से टेस्ट करें, और URL की सूची से अपने ब्राउज़र में या हमारे सर्वर द्वारा आपकी साइट के क्रॉल से XML sitemap बनाएँ।

ग्रुप 1

* (सभी क्रॉलर)

Google इसे अनदेखा करता है; Bing और Yandex इसे मानते हैं

साइटमैप लाइनें

robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

आपके होम पेज को कौन क्रॉल कर सकता है

  • Googlebotसर्च इंजन
  • Googlebot-Imageसर्च इंजन
  • Bingbotसर्च इंजन
  • DuckDuckBotसर्च इंजन
  • Applebotसर्च इंजन
  • YandexBotसर्च इंजन
  • Baiduspiderसर्च इंजन
  • OAI-SearchBotAI सर्च
  • ChatGPT-UserAI यूज़र फ़ेच
  • GPTBotAI ट्रेनिंग
  • Claude-SearchBotAI सर्च
  • Claude-UserAI यूज़र फ़ेच
  • ClaudeBotAI ट्रेनिंग
  • PerplexityBotAI सर्च
  • Perplexity-UserAI यूज़र फ़ेच
  • Google-ExtendedAI ट्रेनिंग
  • Applebot-ExtendedAI ट्रेनिंग
  • CCBotAI ट्रेनिंग
  • Meta-ExternalAgentAI ट्रेनिंग
  • BytespiderAI ट्रेनिंग
  • AmazonbotAI ट्रेनिंग
हमारे सर्वर पर प्रोसेस होता है · क्रॉल के परिणाम सेव नहीं किए जातेयह कैसे काम करता है

Robots.txt और sitemap जनरेटर इस्तेमाल कैसे करें

  1. 1

    शुरुआती बिंदु चुनें

    “AI ट्रेनिंग ब्लॉक करें, AI सर्च रखें” जैसा कोई प्रीसेट चुनें, या “सब कुछ अनुमति दें” से शुरू करें और ग्रुप अपने हिसाब से बदलें।

  2. 2

    ग्रुप और नियम जोड़ें

    हर ग्रुप के लिए Googlebot से लेकर GPTBot और ClaudeBot तक क्रॉलर चुनें, फिर Allow और Disallow पाथ और अपना साइटमैप URL जोड़ें।

  3. 3

    असली URL टेस्ट करें

    टेस्टर खोलें, कोई भी URL या पाथ पेस्ट करें और देखें कि हर क्रॉलर के लिए कौन-सा नियम फ़ैसला करता है। इसमें वही सबसे लंबे मैच वाला तर्क है जो Google इस्तेमाल करता है।

  4. 4

    साइटमैप बनाएँ

    अपने URL पेस्ट करें या हमारे सर्वर से अपनी साइट क्रॉल करवाएँ, फिर sitemap.xml डाउनलोड करें। 50,000 से ज़्यादा URL हों तो इंडेक्स वाली ZIP फ़ाइल मिलती है।

सीमाएँ और Pro

मुफ़्त: 3 पैरेलल रिक्वेस्ट के साथ 300 पेज तक के क्रॉल, हर पेज के लिए 10 सेकंड और हर क्रॉल के लिए 90 सेकंड, हर 10 मिनट में 3 क्रॉल; पेस्ट की गई सूचियाँ 200,000 URL तक; साइटमैप फ़ाइलें 50,000 URL या 50 MB पर बँटती हैं।

Robots.txt और sitemap जनरेटर के बारे में

यह जनरेटर उन दो फ़ाइलों को संभालता है जो क्रॉलर को बताती हैं कि क्या फ़ेच करना है। robots.txt बिल्डर User-agent लाइनों के ग्रुप लिखता है, जिनमें Allow और Disallow नियम, वैकल्पिक Crawl-delay मान और Sitemap लाइनें होती हैं। इसकी क्रॉलर सूची में सर्च इंजन और वे AI एजेंट शामिल हैं जिनके बारे में साइट मालिक सबसे ज़्यादा पूछते हैं: OpenAI के GPTBot, OAI-SearchBot और ChatGPT-User, Anthropic के ClaudeBot, Claude-SearchBot और Claude-User, PerplexityBot, और Google-Extended तथा Applebot-Extended जैसे कंट्रोल टोकन। हर एक पर ट्रेनिंग, सर्च या यूज़र-शुरू किया हुआ का लेबल लगा है। साइड पैनल एक नज़र में दिखाता है कि कौन-से क्रॉलर आपका होम पेज फ़ेच कर सकते हैं।

टेस्टर RFC 9309 यानी Robots Exclusion Protocol मानक लागू करता है: क्रॉलर उस ग्रुप को मानता है जिसमें उसका नाम हो, वरना * ग्रुप को; सबसे लंबा मैच करने वाला पैटर्न जीतता है, बराबरी पर Allow जीतता है, * किसी भी चीज़ से मैच करता है और $ URL के अंत को पकड़ता है। यह बिल्डर के नियमों पर चलता है, या आपके पेस्ट किए किसी भी robots.txt पर, और उन लाइनों की सूची देता है जिन्हें क्रॉलर अनदेखा करेंगे।

साइटमैप जनरेटर sitemaps.org का XML लिखता है, जिसमें लोकेशन एस्केप की जाती हैं और lastmod तारीख़ें वैकल्पिक होती हैं। यह डुप्लिकेट हटाता है और बड़ी सूचियों को साइटमैप इंडेक्स के साथ 50,000 URL वाली फ़ाइलों में बाँटता है। इसका क्रॉलर उसी होस्ट के लिंक फ़ॉलो करता है, robots.txt और noindex मानता है, और पेज मेटाडेटा से lastmod पढ़ता है। robots.txt एक सलाह है जिसे शिष्ट क्रॉलर मानते हैं, यह एक्सेस कंट्रोल नहीं है: यह पेज लोगों से या इसे अनदेखा करने वाले क्रॉलरों से नहीं छिपा सकता।

गोपनीयता

robots.txt बिल्डर, टेस्टर और पेस्ट की गई सूची से बने साइटमैप, सब आपके ब्राउज़र में चलते हैं और कुछ नहीं भेजते। सिर्फ़ “मेरी साइट क्रॉल करें” हमारे सर्वर का इस्तेमाल करता है: वह शुरुआती पता लेता है, आपके सार्वजनिक पेज और robots.txt फ़ेच करता है, और मिले URL बिना सहेजे आपको वापस भेज देता है।

खूबियाँ

AI क्रॉलर की समझ

Googlebot से लेकर GPTBot, ClaudeBot और PerplexityBot तक 21 नामित क्रॉलर टोकन, मकसद के लेबल के साथ।

RFC 9309 टेस्टर

किसी भी URL और किसी भी क्रॉलर के लिए सबसे लंबे मैच का फ़ैसला, फ़ैसला करने वाली लाइन के साथ।

बड़ी साइटों के लिए साइटमैप

पेस्ट करें या क्रॉल करें, lastmod तारीख़ें, डुप्लिकेट हटाना और 50,000 URL से ऊपर अपने आप इंडेक्स फ़ाइलें।

Robots.txt और sitemap जनरेटर: अक्सर पूछे जाने वाले सवाल

क्या मुझे robots.txt में AI क्रॉलर ब्लॉक करने चाहिए?
यह इस पर निर्भर करता है कि आप क्या चाहते हैं। GPTBot, ClaudeBot, CCBot और Google-Extended टोकन जैसे ट्रेनिंग क्रॉलर मॉडल ट्रेनिंग के लिए कंटेंट इकट्ठा करते हैं, और इन्हें ब्लॉक करने से सर्च रैंकिंग पर असर नहीं पड़ता। OAI-SearchBot, Claude-SearchBot और PerplexityBot जैसे सर्च एजेंट तय करते हैं कि असिस्टेंट आपको कोट और लिंक कर सकें या नहीं, इसलिए इन्हें ब्लॉक करने पर आप उन जवाबों से हट जाते हैं। “AI ट्रेनिंग ब्लॉक करें, AI सर्च रखें” प्रीसेट दोनों को अलग करता है।
robots.txt Allow और Disallow में से कैसे चुनता है?
RFC 9309 के तहत क्रॉलर पहले वह ग्रुप चुनता है जिसमें उसका यूज़र एजेंट नाम हो, या कोई न हो तो * ग्रुप; ग्रुप * के साथ मिलाए नहीं जाते। उस ग्रुप में वह नियम जीतता है जिसका पाथ पैटर्न URL के सबसे लंबे हिस्से से मैच करे, और Allow तथा Disallow पैटर्न की लंबाई बराबर हो तो Allow जीतता है। टेस्टर फ़ैसला करने वाला नियम और उसकी लाइन संख्या दिखाता है।
क्या Google Crawl-delay मानता है?
नहीं। Googlebot Crawl-delay को अनदेखा करता है और आपके सर्वर के जवाब की रफ़्तार के हिसाब से क्रॉल दर अपने आप बदलता है। Bing, Yandex और कुछ दूसरे क्रॉलर इसे मानते हैं, और हमारा साइटमैप क्रॉलर भी मानता है, जो तब उस ठहराव के साथ एक बार में एक पेज फ़ेच करता है, अधिकतम 10 सेकंड तक। इसे सोच-समझकर रखें: लंबी देरी से उन क्रॉलरों को नए पेज खोजने में समय लगता है।
साइट क्रॉल हमारे सर्वर को क्या भेजता है और क्या रखता है?
“मेरी साइट क्रॉल करें” शुरुआती पता हमारे सर्वर को भेजता है, जो आपका robots.txt और फिर उसी होस्ट के सार्वजनिक पेज आपकी पेज सीमा तक फ़ेच करता है, और खुद को ToolsSitemapBot बताता है। वह मिला हर URL आपके ब्राउज़र को भेजता है और बाद में कुछ नहीं रखता: न पेज कंटेंट, न URL सूची, न आपकी साइट का कोई लॉग। इस पेज पर बाकी सब कुछ आपके ब्राउज़र में चलता है।
मुझे साइटमैप इंडेक्स की ज़रूरत कब पड़ती है?
एक साइटमैप फ़ाइल में ज़्यादा से ज़्यादा 50,000 URL और बिना कंप्रेस किए 50 MB हो सकते हैं। इससे ऊपर जनरेटर सूची को sitemap-1.xml, sitemap-2.xml वगैरह में बाँटता है, साथ में उन्हें जोड़ने वाली sitemap-index.xml बनाता है, और ZIP डाउनलोड करता है। सभी फ़ाइलें उस फ़ोल्डर में अपलोड करें जो आपने डाला था, फिर Search Console में इंडेक्स सबमिट करें और robots.txt में उसकी Sitemap लाइन जोड़ें।

इस टूल से दूसरे काम

संबंधित टूल

सभी डेवलपर टूल

वेबसाइट स्पीड और SEO चेकर

Core Web Vitals और सुधार के साथ ऑन-पेज SEO ऑडिट

Open Graph और मेटा टैग प्रीव्यू

Google, Facebook, X, LinkedIn और Slack पर लिंक का प्रीव्यू

प्राइवेसी पॉलिसी और टर्म्स जनरेटर

प्राइवेसी पॉलिसी, शर्तें और कुकी पॉलिसी के ड्राफ़्ट

मेरा IP और DNS लुकअप

आपका पब्लिक IP एड्रेस और किसी भी डोमेन के DNS रिकॉर्ड