Cách sử dụng Trình tạo robots.txt và sitemap
- 1
Chọn điểm bắt đầu
Chọn một mẫu có sẵn như Chặn AI huấn luyện, giữ tìm kiếm AI, hoặc bắt đầu từ Cho phép tất cả rồi chỉnh sửa các nhóm.
- 2
Thêm nhóm và quy tắc
Với mỗi nhóm, chọn trình thu thập từ Googlebot đến GPTBot và ClaudeBot, rồi thêm đường dẫn Allow, Disallow và URL sitemap.
- 3
Kiểm tra URL thực tế
Mở Trình kiểm tra, dán URL hoặc đường dẫn bất kỳ để xem quy tắc nào quyết định cho từng trình thu thập, theo cùng logic khớp dài nhất mà Google dùng.
- 4
Tạo sơ đồ trang web
Dán danh sách URL hoặc để máy chủ của chúng tôi thu thập trang web, rồi tải xuống sitemap.xml, hoặc tệp ZIP kèm tệp chỉ mục khi bạn có hơn 50.000 URL.
Giới hạn và Pro
Miễn phí: thu thập tối đa 300 trang với 3 yêu cầu song song, 10 giây mỗi trang và 90 giây mỗi lần thu thập, 3 lần thu thập mỗi 10 phút; danh sách dán vào tối đa 200.000 URL; tệp sitemap được chia ở mức 50.000 URL hoặc 50 MB.
Về Trình tạo robots.txt và sitemap
Công cụ này tạo hai tệp báo cho trình thu thập biết nên lấy gì. Trình tạo robots.txt viết các nhóm dòng User-agent cùng quy tắc Allow, Disallow, giá trị Crawl-delay tùy chọn và dòng Sitemap. Danh sách trình thu thập gồm các công cụ tìm kiếm và những tác nhân AI được chủ website hỏi đến nhiều nhất: GPTBot, OAI-SearchBot và ChatGPT-User của OpenAI, ClaudeBot, Claude-SearchBot và Claude-User của Anthropic, PerplexityBot, cùng các token điều khiển như Google-Extended và Applebot-Extended, mỗi loại được gắn nhãn huấn luyện, tìm kiếm hoặc do người dùng khởi tạo. Bảng bên cạnh cho biết nhanh trình thu thập nào được phép lấy trang chủ của bạn.
Trình kiểm tra áp dụng RFC 9309, chuẩn Robots Exclusion Protocol: trình thu thập làm theo nhóm nêu tên nó, hoặc nhóm *; mẫu khớp dài nhất thắng, Allow thắng khi hòa, * khớp mọi thứ và $ neo ở cuối URL. Công cụ chạy trên quy tắc của trình tạo hoặc bất kỳ robots.txt nào bạn dán vào, đồng thời liệt kê các dòng mà trình thu thập sẽ bỏ qua.
Trình tạo sơ đồ trang web viết XML theo sitemaps.org với vị trí đã được thoát ký tự và ngày lastmod tùy chọn, loại bỏ trùng lặp và chia danh sách lớn thành các tệp 50.000 URL kèm chỉ mục sitemap. Trình thu thập đi theo liên kết cùng máy chủ, tuân thủ robots.txt và noindex, và đọc lastmod từ siêu dữ liệu trang. robots.txt chỉ là lời khuyên mà các trình thu thập lịch sự làm theo, không phải kiểm soát truy cập: nó không thể ẩn trang khỏi người dùng hay khỏi trình thu thập bỏ qua nó.
Quyền riêng tư
Trình tạo robots.txt, trình kiểm tra và sơ đồ trang web tạo từ danh sách bạn dán đều chạy ngay trên trình duyệt và không gửi gì đi. Chỉ Thu thập trang web của tôi dùng máy chủ của chúng tôi: máy chủ nhận địa chỉ bắt đầu, lấy các trang công khai và robots.txt của bạn, rồi truyền các URL tìm được về cho bạn mà không lưu trữ.
Tính năng
Hiểu trình thu thập AI
21 token trình thu thập có tên, từ Googlebot đến GPTBot, ClaudeBot và PerplexityBot, được gắn nhãn theo mục đích.
Trình kiểm tra RFC 9309
Kết luận theo khớp dài nhất kèm dòng quyết định cho mọi URL và mọi trình thu thập.
Sơ đồ trang web mở rộng được
Dán hoặc thu thập, ngày lastmod, loại bỏ trùng lặp và tự tạo tệp chỉ mục khi vượt 50.000 URL.