Robots.txt ve site haritası oluşturucu nasıl kullanılır
- 1
Bir başlangıç noktası seçin
Yapay zeka eğitimini engelle, yapay zeka aramasını koru gibi hazır bir ayar seçin ya da Her şeye izin ver ile başlayıp grupları düzenleyin.
- 2
Grup ve kural ekleyin
Her grup için Googlebot'tan GPTBot ve ClaudeBot'a kadar tarayıcıları seçin, ardından Allow ve Disallow yollarını ve site haritası URL'nizi ekleyin.
- 3
Gerçek URL'leri test edin
Test aracını açın, herhangi bir URL veya yol yapıştırın ve Google'ın kullandığı en uzun eşleşme mantığıyla her tarayıcı için hangi kuralın belirleyici olduğunu görün.
- 4
Site haritasını oluşturun
URL'lerinizi yapıştırın ya da sitenizi sunucumuza taratın, ardından sitemap.xml'i indirin. 50.000'den fazla URL varsa dizin dosyalı bir ZIP indirin.
Sınırlar ve Pro
Ücretsiz: 3 paralel istekle en fazla 300 sayfalık tarama, sayfa başına 10 saniye ve tarama başına 90 saniye, her 10 dakikada 3 tarama; en fazla 200.000 URL'lik yapıştırılmış listeler; 50.000 URL veya 50 MB'ta bölünen site haritası dosyaları.
Robots.txt ve site haritası oluşturucu hakkında
Bu oluşturucu, tarayıcılara neyi getirebileceklerini söyleyen iki dosyayı kapsar. robots.txt oluşturucu, Allow ve Disallow kurallı User-agent satırlarından oluşan grupları, isteğe bağlı Crawl-delay değerlerini ve Sitemap satırlarını yazar. Tarayıcı listesinde arama motorları ve site sahiplerinin en çok sorduğu yapay zeka aracıları yer alır: OpenAI'ın GPTBot, OAI-SearchBot ve ChatGPT-User'ı, Anthropic'in ClaudeBot, Claude-SearchBot ve Claude-User'ı, PerplexityBot ve Google-Extended ile Applebot-Extended gibi denetim belirteçleri. Her biri eğitim, arama veya kullanıcı tetiklemeli olarak etiketlidir. Yan panel, hangi tarayıcıların ana sayfanızı getirebileceğini bir bakışta gösterir.
Test aracı, Robots Exclusion Protocol standardı olan RFC 9309'u uygular: tarayıcı kendi adını taşıyan grubu ya da * grubunu izler; en uzun eşleşen desen kazanır, eşitlikte Allow kazanır, * her şeyle eşleşir ve $ URL'nin sonunu sabitler. Oluşturucudaki kurallarla ya da yapıştırdığınız herhangi bir robots.txt ile çalışır ve tarayıcıların yok sayacağı satırları listeler.
Site haritası oluşturucu, konumları kaçışlanmış ve isteğe bağlı lastmod tarihli sitemaps.org XML'i yazar, yinelenenleri kaldırır ve büyük listeleri bir site haritası dizinleriyle 50.000 URL'lik dosyalara böler. Tarayıcısı aynı ana bilgisayardaki bağlantıları izler, robots.txt ve noindex'e uyar, lastmod bilgisini sayfa meta verilerinden okur. robots.txt, nazik tarayıcıların uyduğu bir tavsiyedir, erişim denetimi değildir: sayfaları ne insanlardan ne de onu yok sayan tarayıcılardan gizleyebilir.
Gizlilik
robots.txt oluşturucu, test aracı ve yapıştırılan listeden üretilen site haritaları tarayıcınızda çalışır, hiçbir şey göndermez. Yalnızca Sitemi tara sunucumuzu kullanır: başlangıç adresini alır, herkese açık sayfalarınızı ve robots.txt dosyanızı getirir, bulduğu URL'leri saklamadan size akıtır.
Özellikler
Yapay zeka tarayıcılarını tanır
Googlebot'tan GPTBot, ClaudeBot ve PerplexityBot'a kadar, amacına göre etiketlenmiş 21 adlandırılmış tarayıcı belirteci.
RFC 9309 test aracı
Her URL ve her tarayıcı için en uzun eşleşmeye göre karar ve belirleyici satır.
Büyüyen site haritaları
Yapıştırma veya tarama, lastmod tarihleri, yinelenenleri kaldırma ve 50.000 URL üzerinde otomatik dizin dosyaları.