طريقة استخدام مولّد robots.txt وخرائط الموقع
- 1
اختر نقطة البداية
اختر إعدادًا جاهزًا مثل «حظر تدريب الذكاء الاصطناعي مع إبقاء البحث به»، أو ابدأ من «السماح بكل شيء» ثم عدّل المجموعات.
- 2
أضف المجموعات والقواعد
اختر لكل مجموعة الزواحف التي تشملها، من Googlebot إلى GPTBot و ClaudeBot، ثم أضف مسارات Allow و Disallow ورابط خريطة موقعك.
- 3
اختبر روابط حقيقية
افتح «أداة الاختبار» والصق أي رابط أو مسار لترى القاعدة التي تحسم النتيجة لكل زاحف، وفق منطق أطول تطابق نفسه الذي يستخدمه Google.
- 4
أنشئ خريطة الموقع
الصق روابطك أو دع خادمنا يزحف إلى موقعك، ثم نزّل sitemap.xml، أو ملف ZIP يتضمن فهرسًا إذا تجاوز عدد الروابط 50,000.
الحدود وخطة Pro
مجانًا: زحف يصل إلى 300 صفحة مع 3 طلبات متوازية، و10 ثوانٍ لكل صفحة و90 ثانية لكل عملية زحف، و3 عمليات زحف كل 10 دقائق؛ قوائم ملصقة تصل إلى 200,000 رابط؛ تقسيم ملفات خريطة الموقع عند 50,000 رابط أو 50 MB.
عن مولّد robots.txt وخرائط الموقع
يغطي هذا المولّد الملفين اللذين يخبران الزواحف بما تجلبه. يكتب منشئ robots.txt مجموعات من أسطر User-agent مع قواعد Allow و Disallow، وقيم Crawl-delay الاختيارية وأسطر Sitemap. تضم قائمة الزواحف محركات البحث ووكلاء الذكاء الاصطناعي الذين يسأل عنهم أصحاب المواقع أكثر من غيرهم: GPTBot و OAI-SearchBot و ChatGPT-User من OpenAI، و ClaudeBot و Claude-SearchBot و Claude-User من Anthropic، و PerplexityBot، ورموز التحكم مثل Google-Extended و Applebot-Extended، وكل منها موسوم بغرضه: تدريب أو بحث أو طلب من المستخدم. وتعرض لوحة جانبية بنظرة واحدة الزواحف المسموح لها بجلب صفحتك الرئيسية.
تطبق أداة الاختبار معيار RFC 9309، وهو معيار بروتوكول استبعاد الروبوتات: يتبع الزاحف المجموعة التي تسميه، أو مجموعة * إن لم توجد؛ ويفوز أطول نمط مطابق، وعند التعادل يفوز Allow، ويطابق الرمز * أي شيء ويثبّت الرمز $ نهاية الرابط. تعمل الأداة على قواعد المنشئ أو على أي ملف robots.txt تلصقه، وتسرد الأسطر التي ستتجاهلها الزواحف.
يكتب مولّد خرائط الموقع ملفات XML وفق معيار sitemaps.org مع ترميز خاص للمحارف في العناوين وتواريخ lastmod اختيارية، ويزيل الروابط المكررة ويقسم القوائم الكبيرة إلى ملفات من 50,000 رابط مع فهرس لخرائط الموقع. أما زاحفه فيتبع الروابط على المضيف نفسه، ويلتزم بقواعد robots.txt و noindex، ويقرأ lastmod من البيانات الوصفية للصفحة. ملف robots.txt توجيه تلتزم به الزواحف المهذبة وليس وسيلة للتحكم في الوصول: لا يستطيع إخفاء الصفحات عن الناس ولا عن الزواحف التي تتجاهله.
الخصوصية
يعمل منشئ robots.txt وأداة الاختبار وخرائط الموقع المنشأة من قائمة ملصقة كلها في متصفحك ولا ترسل شيئًا. خيار «زحف موقعي» وحده يستخدم خادمنا: يستقبل عنوان البداية، ويجلب صفحاتك العامة وملف robots.txt، ثم يرسل إليك الروابط التي يجدها أولًا بأول دون تخزينها.
الميزات
إلمام بزواحف الذكاء الاصطناعي
21 رمزًا لزواحف مسماة، من Googlebot إلى GPTBot و ClaudeBot و PerplexityBot، موسومة بحسب الغرض.
اختبار وفق RFC 9309
أحكام بمنطق أطول تطابق مع السطر الحاسم لأي رابط وأي زاحف.
خرائط موقع تواكب حجم موقعك
لصق أو زحف، وتواريخ lastmod، وإزالة المكررات، وملفات فهرس تلقائية عند تجاوز 50,000 رابط.