본문으로 건너뛰기

robots.txt·XML 사이트맵 만들기

검색 크롤러와 AI 크롤러용 robots.txt 규칙을 작성하고, 원하는 URL이 규칙에 맞는지 테스트해 보세요. XML 사이트맵은 URL 목록으로 브라우저에서 만들거나, 서버가 사이트를 크롤링한 결과로 만들 수 있어요.

그룹 1

* (모든 크롤러)

Google은 무시하지만 Bing과 Yandex는 따라요

Sitemap 줄

robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

홈페이지를 크롤링할 수 있는 대상

  • Googlebot검색 엔진
  • Googlebot-Image검색 엔진
  • Bingbot검색 엔진
  • DuckDuckBot검색 엔진
  • Applebot검색 엔진
  • YandexBot검색 엔진
  • Baiduspider검색 엔진
  • OAI-SearchBotAI 검색
  • ChatGPT-UserAI 사용자 요청
  • GPTBotAI 학습
  • Claude-SearchBotAI 검색
  • Claude-UserAI 사용자 요청
  • ClaudeBotAI 학습
  • PerplexityBotAI 검색
  • Perplexity-UserAI 사용자 요청
  • Google-ExtendedAI 학습
  • Applebot-ExtendedAI 학습
  • CCBotAI 학습
  • Meta-ExternalAgentAI 학습
  • BytespiderAI 학습
  • AmazonbotAI 학습
서버에서 처리해요 · 크롤링 결과는 저장되지 않아요작동 방식

robots.txt·사이트맵 생성기 사용 방법

  1. 1

    시작점 고르기

    AI 학습은 차단, AI 검색은 허용 같은 프리셋을 고르거나, 모두 허용에서 시작해 그룹을 직접 편집하세요.

  2. 2

    그룹과 규칙 추가

    그룹마다 Googlebot부터 GPTBot, ClaudeBot까지 크롤러를 고른 뒤 Allow와 Disallow 경로, 그리고 사이트맵 URL을 추가하세요.

  3. 3

    실제 URL 테스트

    테스터를 열고 URL이나 경로를 붙여넣으면, Google과 같은 최장 일치 방식으로 크롤러마다 어떤 규칙이 적용되는지 보여줘요.

  4. 4

    사이트맵 만들기

    URL을 붙여넣거나 서버가 사이트를 크롤링하게 한 뒤 sitemap.xml을 다운로드하세요. URL이 50,000개를 넘으면 인덱스가 포함된 ZIP으로 받을 수 있어요.

제한 및 Pro

무료: 최대 300페이지 크롤링(동시 요청 3개, 페이지당 10초, 크롤링당 90초), 10분마다 3번 크롤링, 붙여넣은 목록은 최대 200,000개 URL, 사이트맵 파일은 50,000개 URL 또는 50 MB마다 분할.

robots.txt·사이트맵 생성기 소개

이 생성기는 크롤러에게 무엇을 가져가도 되는지 알려주는 두 가지 파일을 만들어 줘요. robots.txt 빌더는 User-agent 줄로 시작하는 그룹을 만들고, 그 안에 Allow와 Disallow 규칙, 선택 사항인 Crawl-delay 값, Sitemap 줄을 넣어요. 크롤러 목록에는 검색 엔진과 사이트 운영자가 가장 많이 묻는 AI 에이전트가 들어 있어요. OpenAI의 GPTBot, OAI-SearchBot, ChatGPT-User, Anthropic의 ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, 그리고 Google-Extended와 Applebot-Extended 같은 제어 토큰이며, 각각 학습, 검색, 사용자 요청 중 어디에 해당하는지 표시돼요. 옆 패널에서는 어떤 크롤러가 홈페이지를 가져갈 수 있는지 한눈에 볼 수 있어요.

테스터는 Robots Exclusion Protocol 표준인 RFC 9309를 따라요. 크롤러는 자신을 지정한 그룹이나 * 그룹을 따르고, 가장 길게 일치하는 패턴이 우선하며, 길이가 같으면 Allow가 이겨요. *는 모든 문자에 일치하고 $는 URL의 끝을 뜻해요. 빌더의 규칙은 물론 직접 붙여넣은 robots.txt도 검사하고, 크롤러가 무시할 줄도 알려줘요.

사이트맵 생성기는 주소를 이스케이프한 sitemaps.org XML을 만들고, 선택 사항인 lastmod 날짜를 넣고, 중복을 없애요. 목록이 크면 URL 50,000개 단위 파일로 나누고 사이트맵 인덱스를 함께 만들어요. 크롤러는 같은 호스트의 링크만 따라가고, robots.txt와 noindex를 지키며, 페이지 메타데이터에서 lastmod를 읽어요. robots.txt는 예의를 지키는 크롤러가 따르는 권고일 뿐 접근 제어가 아니에요. 사람이나 이를 무시하는 크롤러로부터 페이지를 숨길 수는 없어요.

개인정보 보호

robots.txt 빌더, 테스터, 붙여넣은 목록으로 만드는 사이트맵은 모두 브라우저에서 실행되고 아무것도 전송하지 않아요. 내 사이트 크롤링만 서버를 사용해요. 서버는 시작 주소를 받아 공개 페이지와 robots.txt를 가져오고, 찾은 URL을 저장하지 않은 채 바로 보내 드려요.

기능

AI 크롤러 지원

Googlebot부터 GPTBot, ClaudeBot, PerplexityBot까지 이름이 있는 크롤러 토큰 21개를 목적별로 구분해 보여줘요.

RFC 9309 테스터

어떤 URL과 크롤러든 최장 일치 판정과 결정한 줄을 보여줘요.

대규모 사이트맵

붙여넣기와 크롤링, lastmod 날짜, 중복 제거, URL 50,000개 초과 시 자동 인덱스 파일까지 지원해요.

robots.txt·사이트맵 생성기: 자주 묻는 질문

robots.txt에서 AI 크롤러를 차단해야 하나요?
원하는 바에 따라 달라요. GPTBot, ClaudeBot, CCBot, Google-Extended 토큰 같은 학습용 크롤러는 모델 학습을 위해 콘텐츠를 수집하며, 차단해도 검색 순위에는 영향이 없어요. OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색 에이전트는 어시스턴트가 내 사이트를 인용하고 링크할지 좌우하므로, 차단하면 그 답변에서 빠져요. AI 학습은 차단, AI 검색은 허용 프리셋은 이 둘을 구분해 줘요.
robots.txt는 Allow와 Disallow 중 무엇을 따르나요?
RFC 9309에 따르면 크롤러는 먼저 자신의 user agent를 지정한 그룹을 고르고, 없으면 * 그룹을 써요. 지정된 그룹은 * 그룹과 합쳐지지 않아요. 그 그룹 안에서 URL과 가장 길게 일치하는 경로 패턴의 규칙이 이기고, Allow와 Disallow 패턴의 길이가 같으면 Allow가 이겨요. 테스터는 결정한 규칙과 줄 번호를 보여줘요.
Google은 Crawl-delay를 따르나요?
아니요. Googlebot은 Crawl-delay를 무시하고 서버 응답 속도에 맞춰 크롤링 속도를 자동으로 조절해요. Bing, Yandex 등 일부 크롤러는 따르고, 10.tools의 사이트맵 크롤러도 이 값을 지켜 최대 10초까지 그 간격으로 한 번에 한 페이지씩 가져와요. 지연이 길면 해당 크롤러가 새 페이지를 찾는 속도가 느려지니 적당히 쓰세요.
사이트 크롤링은 서버로 무엇을 보내고, 무엇을 보관하나요?
내 사이트 크롤링은 시작 주소를 서버로 보내요. 서버는 robots.txt를 가져온 뒤 같은 호스트의 공개 페이지를 페이지 한도까지 가져오며, ToolsSitemapBot이라고 밝혀요. 찾은 URL을 브라우저로 바로 보내고 이후에는 아무것도 보관하지 않아요. 페이지 내용, URL 목록, 사이트 로그도 저장하지 않아요. 이 페이지의 나머지 기능은 모두 브라우저에서 실행돼요.
사이트맵 인덱스는 언제 필요한가요?
사이트맵 파일 하나에는 압축을 풀었을 때 최대 URL 50,000개와 50 MB까지 담을 수 있어요. 이를 넘으면 생성기가 목록을 sitemap-1.xml, sitemap-2.xml 식으로 나누고, 이를 가리키는 sitemap-index.xml을 더해 ZIP으로 다운로드해요. 모든 파일을 입력한 폴더에 올린 뒤 Search Console에 인덱스를 제출하고, robots.txt에도 Sitemap 줄을 추가하세요.

이 도구로 할 수 있는 다른 작업

관련 도구

개발자 도구 전체

웹사이트 속도·SEO 검사기

Core Web Vitals와 개선 방법까지 알려주는 온페이지 SEO 점검

오픈 그래프 메타 태그 미리보기

Google, Facebook, X, LinkedIn, Slack 링크 미리보기

개인정보 처리방침·이용약관 생성기

개인정보 처리방침, 이용약관, 쿠키 정책 초안

내 IP·DNS 조회

내 공인 IP 주소와 모든 도메인의 DNS 레코드