크롤링과 색인을 혼동하지 않고 robots.txt 및 사이트맵 확인하기

robots.txt는 규정 준수 크롤링을 제어하고, 사이트맵은 URL 공개를 돕습니다. 둘 다 색인 생성을 보장하지는 않습니다. 누락된 페이지를 문제 해결할 때는 요청된 호스트 이름, 정확한 URL 및 색인 생성 지침을 각각 확인하세요.

크롤링 규칙 검토

대상 프로토콜 및 호스트의 robots.txt를 가져옵니다. 페이지와 관련된 사용자 에이전트 그룹 및 경로 규칙을 식별합니다. 허용된 경로와 허용되지 않은 경로를 주의 깊게 비교하세요. 디렉터리에 영향을 미치는 규칙은 조사 중인 페이지보다 훨씬 더 넓은 범위를 가질 수 있습니다. 경로가 허용되지 않는다는 이유만으로 자격 증명이나 비공개 레코드를 게시하지 마세요.

인벤토리로서의 사이트맵 검토

응답이 HTML 오류나 로그인 페이지가 아닌 예상된 XML인지 확인합니다. 해당하는 경우 사이트맵 색인 항목을 따릅니다. 대표 URL을 최종 응답, 선호하는 표준(캐노니컬) URL 및 의도된 색인 생성 상태와 비교합니다. 유효한 파일을 보고하는 파서가 그 안의 모든 URL을 크롤링한 것은 아닙니다.

작업 예시: 사이트맵에 차단된 기사가 포함된 경우

기사가 사이트맵에 나열되어 있지만 해당 디렉터리가 허용되지 않는 경우를 상상해 보세요. 색인에 포함하려면 해당 크롤링 제한이 의도된 것인지 검토한 후 페이지 응답 및 색인 생성 지침을 확인하세요. 기사를 제외하려면 크롤러가 읽을 수 있는 적절한 색인 제어 기능을 사용하세요. 단순히 크롤링을 차단하면 이전에 발견된 URL이 유용한 스니펫 없이 계속 표시될 자격이 유지될 수 있습니다. 이는 예시를 위한 구성 충돌입니다.

의도한 결과 재테스트

1. 규칙 또는 사이트맵 변경 사항과 그 이유를 저장합니다.
2. 프로덕션 호스트에서 파일을 다시 가져옵니다.
3. 영향을 받는 특정 경로와 영향을 받지 않는 경로를 테스트합니다.
4. 제공된 robots 메타 태그와 X-Robots-Tag를 비교합니다.
5. 즉시 재크롤링된다고 가정하지 않고 Search Console에서 URL의 상태를 추적합니다.

별도의 검사로 Robots Checker 및 Sitemap Checker를 사용하세요. 목적을 확인하지 않고 광범위한 규칙을 제거하거나, 사이트맵을 다시 제출하면 Google이 모든 항목을 색인한다고 약속하지 마세요.

Google의 robots.txt 소개 및 사이트맵 개요.)를 참조하세요.