Jak korzystać: Generator robots.txt i sitemap
- 1
Wybierz punkt wyjścia
Wybierz gotowy zestaw, na przykład Blokuj trenowanie AI, zostaw wyszukiwanie AI, albo zacznij od Zezwól na wszystko i zmodyfikuj grupy.
- 2
Dodaj grupy i reguły
Dla każdej grupy wybierz roboty, od Googlebota po GPTBot i ClaudeBot, a potem dodaj ścieżki Allow i Disallow oraz adres swojej mapy witryny.
- 3
Sprawdź prawdziwe adresy
Otwórz Tester, wklej dowolny adres URL lub ścieżkę i zobacz, która reguła decyduje dla każdego robota. Tester stosuje tę samą zasadę najdłuższego dopasowania co Google.
- 4
Zbuduj mapę witryny
Wklej adresy URL albo pozwól naszemu serwerowi przeskanować witrynę, a potem pobierz sitemap.xml. Przy ponad 50 000 adresów URL dostaniesz archiwum ZIP z plikiem indeksu.
Limity i Pro
Za darmo: skanowanie do 300 stron, 3 równoległe żądania, 10 sekund na stronę i 90 sekund na skanowanie, 3 skanowania na 10 minut; wklejone listy do 200 000 adresów URL; pliki map witryny dzielone przy 50 000 adresów URL lub 50 MB.
O narzędziu: Generator robots.txt i sitemap
Ten generator obsługuje dwa pliki, które mówią robotom, co mogą pobierać. Kreator robots.txt tworzy grupy linii User-agent z regułami Allow i Disallow, opcjonalnymi wartościami Crawl-delay oraz liniami Sitemap. Lista robotów obejmuje wyszukiwarki i agentów AI, o które właściciele stron pytają najczęściej: GPTBot, OAI-SearchBot i ChatGPT-User z OpenAI, ClaudeBot, Claude-SearchBot i Claude-User z Anthropic, PerplexityBot oraz tokeny kontrolne, takie jak Google-Extended i Applebot-Extended. Każdy jest oznaczony jako trenowanie, wyszukiwanie albo działanie na żądanie użytkownika. Panel boczny od razu pokazuje, które roboty mogą pobrać Twoją stronę główną.
Tester stosuje RFC 9309, czyli standard Robots Exclusion Protocol: robot kieruje się grupą, która wymienia go z nazwy, albo grupą *; wygrywa najdłuższy pasujący wzorzec, a przy remisie wygrywa Allow. Znak * pasuje do dowolnego ciągu, a $ oznacza koniec adresu URL. Tester działa na regułach z kreatora lub na dowolnym wklejonym pliku robots.txt i wskazuje linie, które roboty zignorują.
Generator map witryny tworzy XML zgodny z sitemaps.org, z poprawnie zakodowanymi adresami i opcjonalnymi datami lastmod. Usuwa duplikaty, a duże listy dzieli na pliki po 50 000 adresów URL i dodaje indeks map witryny. Skaner podąża za linkami w obrębie tego samego hosta, przestrzega robots.txt i noindex oraz odczytuje lastmod z metadanych strony. Plik robots.txt to wskazówka, której przestrzegają uczciwe roboty, a nie kontrola dostępu: nie ukryje stron przed ludźmi ani przed robotami, które go ignorują.
Prywatność
Kreator robots.txt, tester i mapy witryny tworzone z wklejonej listy działają w przeglądarce i niczego nie wysyłają. Tylko Skanuj moją witrynę korzysta z naszego serwera: dostaje adres początkowy, pobiera Twoje publiczne strony i robots.txt, a znalezione adresy URL odsyła do Ciebie na bieżąco, bez ich zapisywania.
Funkcje
Obsługa robotów AI
21 nazwanych tokenów robotów, od Googlebota po GPTBot, ClaudeBot i PerplexityBot, opisanych według przeznaczenia.
Tester zgodny z RFC 9309
Wyniki według najdłuższego dopasowania z decydującą linią dla dowolnego adresu URL i robota.
Mapy witryny bez limitów
Wklejanie lub skanowanie, daty lastmod, usuwanie duplikatów i automatyczne pliki indeksu powyżej 50 000 adresów URL.