ข้ามไปยังเนื้อหา

สร้าง robots.txt และ XML sitemap

เขียนกฎ robots.txt สำหรับครอว์เลอร์ของเสิร์ชเอนจินและ AI ทดสอบ URL กับกฎเหล่านั้น แล้วสร้าง XML sitemap จากรายการ URL ในเบราว์เซอร์ หรือจากการcrawl เว็บไซต์ของคุณที่เซิร์ฟเวอร์ของเราเป็นผู้ดำเนินการ

กลุ่ม 1

* (ทุกโปรแกรมรวบรวมข้อมูล)

Google ไม่สนใจค่านี้ แต่ Bing และ Yandex ปฏิบัติตาม

บรรทัด Sitemap

robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

ใครสามารถcrawl หน้าแรกของคุณได้

  • Googlebotเสิร์ชเอนจิน
  • Googlebot-Imageเสิร์ชเอนจิน
  • Bingbotเสิร์ชเอนจิน
  • DuckDuckBotเสิร์ชเอนจิน
  • Applebotเสิร์ชเอนจิน
  • YandexBotเสิร์ชเอนจิน
  • Baiduspiderเสิร์ชเอนจิน
  • OAI-SearchBotการค้นหาด้วย AI
  • ChatGPT-UserAI ดึงหน้าตามคำขอผู้ใช้
  • GPTBotการฝึก AI
  • Claude-SearchBotการค้นหาด้วย AI
  • Claude-UserAI ดึงหน้าตามคำขอผู้ใช้
  • ClaudeBotการฝึก AI
  • PerplexityBotการค้นหาด้วย AI
  • Perplexity-UserAI ดึงหน้าตามคำขอผู้ใช้
  • Google-Extendedการฝึก AI
  • Applebot-Extendedการฝึก AI
  • CCBotการฝึก AI
  • Meta-ExternalAgentการฝึก AI
  • Bytespiderการฝึก AI
  • Amazonbotการฝึก AI
ประมวลผลบนเซิร์ฟเวอร์ของเรา · ไม่เก็บผลการ crawlวิธีการทำงาน

วิธีใช้งาน ตัวสร้าง robots.txt และ sitemap

  1. 1

    เลือกจุดเริ่มต้น

    เลือกค่าที่ตั้งไว้ล่วงหน้า เช่น บล็อกการฝึก AI แต่คงการค้นหาด้วย AI หรือเริ่มจากอนุญาตทั้งหมดแล้วแก้ไขกลุ่มตามต้องการ

  2. 2

    เพิ่มกลุ่มและกฎ

    เลือกโปรแกรมรวบรวมข้อมูลของแต่ละกลุ่ม ตั้งแต่ Googlebot ถึง GPTBot และ ClaudeBot จากนั้นเพิ่มพาธ Allow และ Disallow รวมถึง URL ของ sitemap

  3. 3

    ทดสอบ URL จริง

    เปิดตัวทดสอบ วาง URL หรือพาธ แล้วดูว่ากฎข้อใดเป็นตัวตัดสินสำหรับแต่ละโปรแกรมรวบรวมข้อมูล โดยใช้ตรรกะแบบจับคู่ยาวที่สุดเช่นเดียวกับ Google

  4. 4

    สร้าง sitemap

    วาง URL ของคุณ หรือให้เซิร์ฟเวอร์ของเรา crawl เว็บไซต์ แล้วดาวน์โหลด sitemap.xml หรือไฟล์ ZIP พร้อมไฟล์ดัชนีเมื่อมี URL เกิน 50,000 รายการ

ข้อจำกัดและ Pro

ฟรี: crawl ได้สูงสุด 300 หน้า พร้อมกัน 3 คำขอ หน้าละ 10 วินาที และครั้งละไม่เกิน 90 วินาที crawl ได้ 3 ครั้งทุก 10 นาที วางรายการได้สูงสุด 200,000 URL และไฟล์ sitemap แยกเมื่อถึง 50,000 URL หรือ 50 MB

เกี่ยวกับ ตัวสร้าง robots.txt และ sitemap

เครื่องมือนี้ครอบคลุมไฟล์สองประเภทที่บอกโปรแกรมรวบรวมข้อมูลว่าควรเข้าถึงอะไร ตัวสร้าง robots.txt เขียนกลุ่มบรรทัด User-agent พร้อมกฎ Allow และ Disallow ค่า Crawl-delay แบบเลือกได้ และบรรทัด Sitemap รายการโปรแกรมรวบรวมข้อมูลมีทั้งเสิร์ชเอนจินและ AI agent ที่เจ้าของเว็บไซต์ถามถึงบ่อยที่สุด ได้แก่ GPTBot, OAI-SearchBot และ ChatGPT-User ของ OpenAI, ClaudeBot, Claude-SearchBot และ Claude-User ของ Anthropic, PerplexityBot รวมถึงโทเคนควบคุมอย่าง Google-Extended และ Applebot-Extended โดยแต่ละรายการระบุว่าใช้เพื่อการฝึก การค้นหา หรือการทำงานตามคำสั่งของผู้ใช้ แผงด้านข้างแสดงให้เห็นทันทีว่าโปรแกรมใดเข้าถึงหน้าแรกของคุณได้

ตัวทดสอบใช้มาตรฐาน RFC 9309 ของ Robots Exclusion Protocol คือโปรแกรมรวบรวมข้อมูลจะทำตามกลุ่มที่ระบุชื่อของตน หรือกลุ่ม * หากไม่มี รูปแบบที่จับคู่ได้ยาวที่สุดชนะ หากยาวเท่ากัน Allow ชนะ * จับคู่ได้ทุกอย่าง และ $ ระบุจุดสิ้นสุดของ URL ใช้ได้ทั้งกับกฎจากตัวสร้างหรือ robots.txt ใด ๆ ที่คุณวาง และแสดงรายการบรรทัดที่โปรแกรมรวบรวมข้อมูลจะข้ามไป

ตัวสร้าง sitemap เขียน XML ตามมาตรฐาน sitemaps.org โดยหลีกเลี่ยงอักขระพิเศษใน URL รองรับวันที่ lastmod แบบเลือกได้ ลบรายการซ้ำ และแบ่งรายการขนาดใหญ่เป็นไฟล์ละ 50,000 URL พร้อมไฟล์ดัชนี sitemap ตัว crawl จะตามลิงก์ในโฮสต์เดียวกัน ทำตาม robots.txt และ noindex และอ่าน lastmod จากข้อมูลเมทาของหน้า ทั้งนี้ robots.txt เป็นเพียงคำแนะนำที่โปรแกรมรวบรวมข้อมูลสุภาพปฏิบัติตาม ไม่ใช่การควบคุมการเข้าถึง จึงซ่อนหน้าจากผู้คนหรือจากโปรแกรมที่ไม่สนใจไม่ได้

ความเป็นส่วนตัว

ตัวสร้าง robots.txt ตัวทดสอบ และ sitemap ที่สร้างจากรายการที่วางไว้ ทำงานในเบราว์เซอร์ของคุณทั้งหมดและไม่ส่งข้อมูลออกไป มีเพียง crawl เว็บไซต์ของฉันที่ใช้เซิร์ฟเวอร์ของเรา โดยรับที่อยู่เริ่มต้น ดึงหน้าสาธารณะและ robots.txt ของคุณ แล้วส่ง URL ที่พบกลับมาให้คุณโดยไม่จัดเก็บไว้

คุณสมบัติ

รองรับโปรแกรมรวบรวมข้อมูลของ AI

โทเคนโปรแกรมรวบรวมข้อมูล 21 รายการ ตั้งแต่ Googlebot ถึง GPTBot, ClaudeBot และ PerplexityBot พร้อมระบุวัตถุประสงค์

ตัวทดสอบ RFC 9309

ผลตัดสินแบบจับคู่ยาวที่สุด พร้อมบรรทัดที่ใช้ตัดสิน สำหรับทุก URL และทุกโปรแกรมรวบรวมข้อมูล

Sitemap ที่รองรับการขยาย

วางรายการหรือ crawl วันที่ lastmod การลบรายการซ้ำ และไฟล์ดัชนีอัตโนมัติเมื่อเกิน 50,000 URL

ตัวสร้าง robots.txt และ sitemap: คำถามที่พบบ่อย

ควรบล็อกโปรแกรมรวบรวมข้อมูลของ AI ใน robots.txt หรือไม่?
ขึ้นอยู่กับสิ่งที่คุณต้องการ โปรแกรมสำหรับการฝึกอย่าง GPTBot, ClaudeBot, CCBot และโทเคน Google-Extended เก็บเนื้อหาไปฝึกโมเดล การบล็อกไม่กระทบอันดับในการค้นหา ส่วนเอเจนต์ค้นหาอย่าง OAI-SearchBot, Claude-SearchBot และ PerplexityBot เป็นตัวกำหนดว่าผู้ช่วย AI จะอ้างอิงและลิงก์มายังคุณได้หรือไม่ การบล็อกจึงทำให้คุณหายไปจากคำตอบเหล่านั้น ค่าที่ตั้งไว้ล่วงหน้าสำหรับบล็อกการฝึก AI แยกสองกลุ่มนี้ออกจากกัน
robots.txt ตัดสินระหว่าง Allow กับ Disallow อย่างไร?
ตาม RFC 9309 โปรแกรมรวบรวมข้อมูลจะเลือกกลุ่มที่ระบุ user agent ของตนก่อน หากไม่มีจึงใช้กลุ่ม * โดยไม่นำกลุ่มมารวมกับ * จากนั้นในกลุ่มนั้น กฎที่รูปแบบพาธจับคู่กับ URL ได้ยาวที่สุดจะชนะ และหาก Allow กับ Disallow ยาวเท่ากัน Allow จะชนะ ตัวทดสอบจะแสดงกฎที่เป็นตัวตัดสินพร้อมหมายเลขบรรทัด
Google ทำตาม Crawl-delay หรือไม่?
ไม่ Googlebot ไม่สนใจ Crawl-delay และปรับอัตราการรวบรวมข้อมูลเองตามความเร็วที่เซิร์ฟเวอร์ของคุณตอบสนอง ส่วน Bing, Yandex และโปรแกรมอื่นบางตัวทำตามค่านี้ รวมถึงตัว crawl sitemap ของเราซึ่งจะดึงทีละหน้าและหยุดพักตามค่านั้นสูงสุด 10 วินาที ควรใช้แต่น้อย เพราะค่าที่สูงมากทำให้โปรแกรมเหล่านั้นค้นพบหน้าใหม่ช้าลง
การ crawl เว็บไซต์ส่งอะไรไปยังเซิร์ฟเวอร์ และเก็บอะไรไว้?
crawl เว็บไซต์ของฉันส่งที่อยู่เริ่มต้นไปยังเซิร์ฟเวอร์ของเรา ซึ่งจะดึง robots.txt แล้วตามด้วยหน้าสาธารณะในโฮสต์เดียวกันตามจำนวนหน้าสูงสุดที่ตั้งไว้ โดยระบุตัวเองว่า ToolsSitemapBot จากนั้นส่ง URL ที่พบไปยังเบราว์เซอร์ของคุณและไม่เก็บอะไรไว้ ทั้งเนื้อหาหน้า รายการ URL และบันทึกของเว็บไซต์คุณ ส่วนอื่นทั้งหมดในหน้านี้ทำงานในเบราว์เซอร์ของคุณ
เมื่อใดจึงต้องใช้ดัชนี sitemap?
ไฟล์ sitemap หนึ่งไฟล์มี URL ได้สูงสุด 50,000 รายการ และขนาดไม่เกิน 50 MB เมื่อไม่บีบอัด หากเกินนั้น เครื่องมือจะแบ่งรายการเป็น sitemap-1.xml, sitemap-2.xml และต่อ ๆ ไป พร้อม sitemap-index.xml ที่ชี้ไปยังไฟล์เหล่านั้น แล้วดาวน์โหลดเป็น ZIP อัปโหลดไฟล์ทั้งหมดไปยังโฟลเดอร์ที่คุณระบุ จากนั้นส่งไฟล์ดัชนีใน Search Console และเพิ่มบรรทัด Sitemap ของไฟล์นั้นลงใน robots.txt

งานอื่น ๆ ที่ใช้เครื่องมือนี้ได้

เครื่องมือที่เกี่ยวข้อง

เครื่องมือสำหรับนักพัฒนา ทั้งหมด

ตรวจความเร็วเว็บและ SEO

ตรวจ SEO บนหน้าเว็บ พร้อม Core Web Vitals และวิธีแก้

ตัวดูตัวอย่าง Open Graph และเมตาแท็ก

ดูตัวอย่างลิงก์บน Google, Facebook, X, LinkedIn และ Slack

ตัวสร้างนโยบายความเป็นส่วนตัวและข้อกำหนด

ร่างนโยบายความเป็นส่วนตัว ข้อกำหนด และนโยบายคุกกี้

เช็ก IP และ DNS ของฉัน

IP แอดเดรสสาธารณะของคุณและเรคคอร์ด DNS ของทุกโดเมน