Robots.txt 검사기

robots.txt 파일을 검사해 Allow/Disallow 규칙, 사이트맵, 사용자 에이전트를 분석합니다

확인할 봇

IP당 시간당 최대 6회 및 공통 제한이 있습니다. robots.txt만 가져옵니다. 최대 500 KiB, 리디렉션 5회이며 사설망은 차단합니다.

robots.txt가 이 URL의 크롤링을 허용하나요?

경로와 쿼리를 포함한 URL을 입력하고 봇을 선택하세요. 일치하는 그룹을 합쳐 가장 구체적인 규칙을 적용하며 동률이면 Allow가 우선합니다. 그룹, 규칙, 줄 번호를 원문과 대조하세요.

현재 규칙의 시뮬레이션이며 실제 접근, 색인, 순위 또는 AI 인용을 보장하지 않습니다. 학습과 검색은 다릅니다. ChatGPT-User 요청에는 robots.txt가 적용되지 않을 수 있습니다. Google-Extended는 제품 제어 토큰이지 별도 HTTP 봇이 아닙니다. llms.txt도 인용을 보장하지 않습니다.

예: 같은 그룹의 Disallow: /private와 Allow: /private/open은 /private/open을 허용합니다. $는 쿼리를 포함한 전체 경로의 끝입니다.

출처 및 방법: RFC 9309 · Google · OpenAI · Anthropic

robots.txt는 SEO에 어떤 역할을 하나요?

크롤링 규칙을 바꾸기 전에 User-agent 그룹과 대상 경로를 확인하세요.

Disallow는 크롤링을 제어하며 검색 결과 삭제를 보장하지 않습니다. 그룹, 규칙, 사이트맵과 원문을 확인할 수 있습니다. 특정 봇의 규칙이 모든 봇에 적용되는 것은 아닙니다. Google이 noindex를 읽으려면 페이지 접근이 가능해야 합니다. 비밀 정보는 인증으로 보호하고 파일 부재와 서버 오류를 구분하세요.

Allow/Disallow 규칙과 사용자 에이전트 수 집계
robots.txt의 사이트맵 선언 감지
검토를 위해 원본 내용 표시

무료로 시작하기

예시: 발견된 문제를 해석하고 수정하기

설명을 위한 예시일 뿐, 내 웹사이트를 검사한 결과가 아닙니다.

운영 배포 후 ‘User-agent: *’와 ‘Disallow: /’가 남았다면 대상 그룹과 경로부터 확인하세요. 의도적으로 제한한 영역까지 해제하지 마세요.

Google이 noindex를 읽으려면 페이지를 크롤링할 수 있어야 합니다. 차단된 URL도 외부 링크를 통해 검색에 나타날 수 있습니다. 비공개 문서는 인증으로 보호해야 하며 robots.txt는 접근 제어가 아닙니다.

Google Search Central

3단계로 사용하기

1웹사이트 URL을 입력하세요(도구가 /robots.txt를 자동으로 찾습니다).
2"robots.txt 검사"를 클릭해 파일을 가져와 분석하세요.
3Allow/Disallow 규칙, 사용자 에이전트, 사이트맵 선언을 검토하세요.

자주 묻는 질문

robots.txt는 noindex 태그와 어떻게 다른가요?

robots.txt는 크롤을 차단합니다(Google이 페이지를 읽지 않음). 반면 noindex는 크롤을 허용하되 페이지를 색인에서 제외합니다. 페이지를 Google에서 삭제하려면 robots.txt가 아니라 noindex를 사용하세요.

robots.txt가 실수로 차단하고 있는지 어떻게 알 수 있나요?

"Disallow: /" 줄(모두 차단)이나 /blog, /products 같은 중요한 폴더의 차단이 있는지 확인하세요. 이 도구는 차단된 경로를 명확하게 나열합니다.

robots.txt에 사이트맵을 선언해야 하나요?

네. "Sitemap: https://yoursite.com/sitemap.xml"을 추가하면 수동으로 제출하지 않아도 모든 검색 엔진이 사이트맵을 찾을 수 있습니다.

사이트에 robots.txt가 없으면 어떻게 되나요?

괜찮습니다. 그 경우 검색 엔진이 모든 것을 크롤할 수 있습니다. 다만 robots.txt를 만들면 크롤링을 제어하고 사이트맵을 선언할 수 있습니다.