انتقل إلى المحتوى

إنشاء ملف robots.txt وخرائط الموقع XML

اكتب قواعد robots.txt لمحركات البحث وغيرها من الزواحف، واختبر أي رابط عليها، وأنشئ خريطة موقع XML من قائمة روابط في متصفحك أو من زحف يجريه خادمنا على موقعك.

المجموعة 1

* (كل الزواحف)

يتجاهله Google؛ ويلتزم به Bing و Yandex

أسطر Sitemap

robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

من يُسمح له بزحف صفحتك الرئيسية

  • Googlebotمحرك بحث
  • Googlebot-Imageمحرك بحث
  • Bingbotمحرك بحث
  • DuckDuckBotمحرك بحث
  • Applebotمحرك بحث
  • YandexBotمحرك بحث
  • Baiduspiderمحرك بحث
  • OAI-SearchBotبحث بالذكاء الاصطناعي
  • ChatGPT-Userجلب بطلب المستخدم (ذكاء اصطناعي)
  • GPTBotتدريب الذكاء الاصطناعي
  • Claude-SearchBotبحث بالذكاء الاصطناعي
  • Claude-Userجلب بطلب المستخدم (ذكاء اصطناعي)
  • ClaudeBotتدريب الذكاء الاصطناعي
  • PerplexityBotبحث بالذكاء الاصطناعي
  • Perplexity-Userجلب بطلب المستخدم (ذكاء اصطناعي)
  • Google-Extendedتدريب الذكاء الاصطناعي
  • Applebot-Extendedتدريب الذكاء الاصطناعي
  • CCBotتدريب الذكاء الاصطناعي
  • Meta-ExternalAgentتدريب الذكاء الاصطناعي
  • Bytespiderتدريب الذكاء الاصطناعي
  • Amazonbotتدريب الذكاء الاصطناعي
تُعالج على خادمنا · لا تُخزَّن نتائج الزحفكيف يعمل الموقع

طريقة استخدام مولّد robots.txt وخرائط الموقع

  1. 1

    اختر نقطة البداية

    اختر إعدادًا جاهزًا مثل «حظر تدريب الذكاء الاصطناعي مع إبقاء البحث به»، أو ابدأ من «السماح بكل شيء» ثم عدّل المجموعات.

  2. 2

    أضف المجموعات والقواعد

    اختر لكل مجموعة الزواحف التي تشملها، من Googlebot إلى GPTBot و ClaudeBot، ثم أضف مسارات Allow و Disallow ورابط خريطة موقعك.

  3. 3

    اختبر روابط حقيقية

    افتح «أداة الاختبار» والصق أي رابط أو مسار لترى القاعدة التي تحسم النتيجة لكل زاحف، وفق منطق أطول تطابق نفسه الذي يستخدمه Google.

  4. 4

    أنشئ خريطة الموقع

    الصق روابطك أو دع خادمنا يزحف إلى موقعك، ثم نزّل sitemap.xml، أو ملف ZIP يتضمن فهرسًا إذا تجاوز عدد الروابط 50,000.

الحدود وخطة Pro

مجانًا: زحف يصل إلى 300 صفحة مع 3 طلبات متوازية، و10 ثوانٍ لكل صفحة و90 ثانية لكل عملية زحف، و3 عمليات زحف كل 10 دقائق؛ قوائم ملصقة تصل إلى 200,000 رابط؛ تقسيم ملفات خريطة الموقع عند 50,000 رابط أو 50 MB.

عن مولّد robots.txt وخرائط الموقع

يغطي هذا المولّد الملفين اللذين يخبران الزواحف بما تجلبه. يكتب منشئ robots.txt مجموعات من أسطر User-agent مع قواعد Allow و Disallow، وقيم Crawl-delay الاختيارية وأسطر Sitemap. تضم قائمة الزواحف محركات البحث ووكلاء الذكاء الاصطناعي الذين يسأل عنهم أصحاب المواقع أكثر من غيرهم: GPTBot و OAI-SearchBot و ChatGPT-User من OpenAI، و ClaudeBot و Claude-SearchBot و Claude-User من Anthropic، و PerplexityBot، ورموز التحكم مثل Google-Extended و Applebot-Extended، وكل منها موسوم بغرضه: تدريب أو بحث أو طلب من المستخدم. وتعرض لوحة جانبية بنظرة واحدة الزواحف المسموح لها بجلب صفحتك الرئيسية.

تطبق أداة الاختبار معيار RFC 9309، وهو معيار بروتوكول استبعاد الروبوتات: يتبع الزاحف المجموعة التي تسميه، أو مجموعة * إن لم توجد؛ ويفوز أطول نمط مطابق، وعند التعادل يفوز Allow، ويطابق الرمز * أي شيء ويثبّت الرمز $ نهاية الرابط. تعمل الأداة على قواعد المنشئ أو على أي ملف robots.txt تلصقه، وتسرد الأسطر التي ستتجاهلها الزواحف.

يكتب مولّد خرائط الموقع ملفات XML وفق معيار sitemaps.org مع ترميز خاص للمحارف في العناوين وتواريخ lastmod اختيارية، ويزيل الروابط المكررة ويقسم القوائم الكبيرة إلى ملفات من 50,000 رابط مع فهرس لخرائط الموقع. أما زاحفه فيتبع الروابط على المضيف نفسه، ويلتزم بقواعد robots.txt و noindex، ويقرأ lastmod من البيانات الوصفية للصفحة. ملف robots.txt توجيه تلتزم به الزواحف المهذبة وليس وسيلة للتحكم في الوصول: لا يستطيع إخفاء الصفحات عن الناس ولا عن الزواحف التي تتجاهله.

الخصوصية

يعمل منشئ robots.txt وأداة الاختبار وخرائط الموقع المنشأة من قائمة ملصقة كلها في متصفحك ولا ترسل شيئًا. خيار «زحف موقعي» وحده يستخدم خادمنا: يستقبل عنوان البداية، ويجلب صفحاتك العامة وملف robots.txt، ثم يرسل إليك الروابط التي يجدها أولًا بأول دون تخزينها.

الميزات

إلمام بزواحف الذكاء الاصطناعي

21 رمزًا لزواحف مسماة، من Googlebot إلى GPTBot و ClaudeBot و PerplexityBot، موسومة بحسب الغرض.

اختبار وفق RFC 9309

أحكام بمنطق أطول تطابق مع السطر الحاسم لأي رابط وأي زاحف.

خرائط موقع تواكب حجم موقعك

لصق أو زحف، وتواريخ lastmod، وإزالة المكررات، وملفات فهرس تلقائية عند تجاوز 50,000 رابط.

مولّد robots.txt وخرائط الموقع: الأسئلة الشائعة

هل أحظر زواحف الذكاء الاصطناعي في robots.txt؟
يعتمد ذلك على ما تريده. زواحف التدريب مثل GPTBot و ClaudeBot و CCBot ورمز Google-Extended تجمع المحتوى لتدريب النماذج، وحظرها لا يؤثر في ترتيبك في نتائج البحث. أما وكلاء البحث مثل OAI-SearchBot و Claude-SearchBot و PerplexityBot فتحدد هل تستطيع المساعدات الاستشهاد بموقعك ووضع روابط إليه، وحظرها يخرجك من تلك الإجابات. يفصل الإعداد الجاهز لحظر تدريب الذكاء الاصطناعي بين النوعين.
كيف يحسم robots.txt بين Allow و Disallow؟
وفق RFC 9309 يختار الزاحف أولًا المجموعة التي تسمي وكيل المستخدم الخاص به، أو مجموعة * إن لم تسمّه أي مجموعة؛ ولا تُدمج المجموعات مع *. وداخل تلك المجموعة تفوز القاعدة التي يطابق نمط مسارها أطول جزء من الرابط، وإذا تساوى نمطا Allow و Disallow في الطول يفوز Allow. تعرض أداة الاختبار القاعدة الحاسمة ورقم سطرها.
هل يلتزم Google بقيمة Crawl-delay؟
لا. يتجاهل Googlebot قيمة Crawl-delay ويضبط معدل زحفه تلقائيًا بحسب سرعة استجابة خادمك. أما Bing و Yandex وبعض الزواحف الأخرى فتلتزم بها، وكذلك زاحف خرائط الموقع لدينا، الذي يجلب عندئذ صفحة واحدة في كل مرة مع تلك المهلة، حتى 10 ثوانٍ. استخدمها باعتدال: المهلة الطويلة تبطئ اكتشاف تلك الزواحف للصفحات الجديدة.
ما الذي يرسله زحف الموقع إلى خادمكم وما الذي يحتفظ به؟
يرسل خيار «زحف موقعي» عنوان البداية إلى خادمنا، الذي يجلب ملف robots.txt ثم الصفحات العامة على المضيف نفسه، حتى حد الصفحات الذي حددته، معرّفًا نفسه باسم ToolsSitemapBot. يرسل كل رابط يجده إلى متصفحك أولًا بأول ولا يحتفظ بشيء بعد ذلك: لا يُخزَّن محتوى الصفحات ولا قائمة الروابط ولا أي سجل لموقعك. وكل ما عدا ذلك في هذه الصفحة يعمل في متصفحك.
متى أحتاج إلى فهرس لخرائط الموقع؟
يتسع ملف خريطة الموقع الواحد لما لا يزيد على 50,000 رابط و 50 MB دون ضغط. وفوق ذلك يقسم المولّد القائمة إلى sitemap-1.xml و sitemap-2.xml وهكذا، مع ملف sitemap-index.xml يشير إليها، وينزّل ملف ZIP. ارفع كل الملفات إلى المجلد الذي أدخلته، ثم أرسل الفهرس في Search Console وأضف له سطر Sitemap في robots.txt.

مهام أخرى بهذه الأداة