Cara menggunakan Generator robots.txt & sitemap
- 1
Pilih titik awal
Pilih preset seperti Blokir pelatihan AI, pertahankan pencarian AI, atau mulai dari Izinkan semuanya lalu ubah grupnya.
- 2
Tambahkan grup dan aturan
Untuk setiap grup, pilih crawler mulai dari Googlebot hingga GPTBot dan ClaudeBot, lalu tambahkan path Allow dan Disallow serta URL sitemap Anda.
- 3
Uji URL yang sebenarnya
Buka Penguji, tempel URL atau path apa pun, lalu lihat aturan mana yang berlaku untuk setiap crawler, dengan logika kecocokan terpanjang yang sama seperti yang dipakai Google.
- 4
Buat sitemap
Tempel daftar URL Anda atau biarkan server kami meng-crawl situs Anda, lalu unduh sitemap.xml, atau ZIP berisi indeks jika URL Anda lebih dari 50.000.
Batas dan Pro
Gratis: crawl hingga 300 halaman dengan 3 permintaan paralel, 10 detik per halaman dan 90 detik per crawl, 3 crawl setiap 10 menit; daftar tempel hingga 200.000 URL; file sitemap dipecah pada 50.000 URL atau 50 MB.
Tentang Generator robots.txt & sitemap
Generator ini mencakup dua file yang memberi tahu crawler apa saja yang boleh diambil. Pembuat robots.txt menulis grup baris User-agent dengan aturan Allow dan Disallow, nilai Crawl-delay opsional, serta baris Sitemap. Daftar crawler-nya mencakup mesin pencari dan agen AI yang paling sering ditanyakan pemilik situs: GPTBot, OAI-SearchBot, dan ChatGPT-User dari OpenAI, ClaudeBot, Claude-SearchBot, dan Claude-User dari Anthropic, PerplexityBot, serta token kontrol seperti Google-Extended dan Applebot-Extended, masing-masing diberi label pelatihan, pencarian, atau permintaan pengguna. Panel samping menampilkan sekilas crawler mana yang boleh mengambil beranda Anda.
Penguji menerapkan RFC 9309, standar Robots Exclusion Protocol: crawler mengikuti grup yang menyebut namanya, atau grup *; pola yang cocok terpanjang menang, Allow menang jika seri, * cocok dengan apa saja, dan $ menandai akhir URL. Penguji bekerja pada aturan dari pembuat atau robots.txt apa pun yang Anda tempel, dan menampilkan baris yang akan diabaikan crawler.
Generator sitemap menulis XML sesuai sitemaps.org dengan lokasi yang di-escape dan tanggal lastmod opsional, menghapus duplikat, dan memecah daftar besar menjadi file berisi 50.000 URL dengan indeks sitemap. Crawler-nya mengikuti tautan di host yang sama, mematuhi robots.txt dan noindex, serta membaca lastmod dari metadata halaman. robots.txt hanyalah saran yang dipatuhi crawler yang sopan, bukan kontrol akses: file ini tidak dapat menyembunyikan halaman dari orang atau dari crawler yang mengabaikannya.
Privasi
Pembuat robots.txt, penguji, dan sitemap dari daftar yang ditempel semuanya berjalan di browser Anda dan tidak mengirim apa pun. Hanya Crawl situs saya yang memakai server kami: server menerima alamat awal, mengambil halaman publik dan robots.txt Anda, lalu mengalirkan URL yang ditemukan kembali kepada Anda tanpa menyimpannya.
Fitur
Mengenal crawler AI
21 token crawler bernama, dari Googlebot hingga GPTBot, ClaudeBot, dan PerplexityBot, diberi label sesuai tujuannya.
Penguji RFC 9309
Keputusan kecocokan terpanjang beserta baris penentunya untuk URL dan crawler apa pun.
Sitemap yang skalabel
Tempel atau crawl, tanggal lastmod, penghapusan duplikat, dan file indeks otomatis di atas 50.000 URL.