Kiểm tra tệp robots.txt và Sơ đồ trang web mà không làm lẫn lộn giữa việc thu thập thông tin và lập chỉ mục

robots.txt kiểm soát việc thu thập thông tin tuân thủ, trong khi sơ đồ trang web giúp tiết lộ các URL. Cả hai đều không đảm bảo về việc lập chỉ mục. Hãy kiểm tra tên máy chủ được yêu cầu, URL chính xác và các chỉ thị lập chỉ mục một cách riêng biệt khi khắc phục sự cố về trang bị thiếu.

Xem xét các quy tắc thu thập thông tin

Lấy tệp robots.txt cho giao thức và máy chủ lưu trữ dự định. Xác định nhóm tác nhân người dùng và các quy tắc đường dẫn có liên quan đến trang. So sánh cẩn thận các đường dẫn được phép và không được phép; một quy tắc ảnh hưởng đến một thư mục có thể có phạm vi rộng hơn nhiều so với trang bạn đang điều tra. Không xuất bản thông tin đăng nhập hoặc hồ sơ riêng tư chỉ vì một đường dẫn không được phép.

Xem xét sơ đồ trang web như một danh mục

Kiểm tra xem phản hồi có phải là XML mong đợi hay không thay vì lỗi HTML hoặc trang đăng nhập. Theo dõi các mục nhập chỉ mục sơ đồ trang web khi có thể áp dụng. So sánh các URL đại diện với phản hồi cuối cùng của chúng, trang chuẩn ưu tiên và trạng thái lập chỉ mục dự định. Trình phân tích cú pháp báo cáo tệp hợp lệ không nhất thiết có phải đã thu thập thông tin mọi URL bên trong tệp đó hay không.

Ví dụ thực tế: sơ đồ trang web bao gồm một bài viết bị chặn

Hãy tưởng tượng một bài viết được liệt kê trong sơ đồ trang web nhưng thư mục của nó không được phép. Nếu bạn muốn bài viết đó được lập chỉ mục, hãy xem xét xem hạn chế thu thập thông tin đó có phải là có chủ ý hay không, sau đó xác minh phản hồi của trang và các chỉ thị lập chỉ mục. Nếu bạn muốn loại trừ bài viết, hãy sử dụng điều khiển lập chỉ mục thích hợp mà trình thu thập thông tin có thể đọc được; việc đơn giản là chặn thu thập thông tin có thể khiến một URL đã được phát hiện trước đó vẫn có đủ điều kiện xuất hiện mà không có đoạn trích hữu ích. Đây là một xung đột cấu hình mang tính minh họa.

Kiểm tra lại kết quả mong muốn

1. Lưu thay đổi quy tắc hoặc sơ đồ trang web và lý do của thay đổi đó.
2. Lấy lại các tệp từ máy chủ lưu trữ sản xuất.
3. Kiểm tra đường dẫn bị ảnh hưởng cụ thể và đường dẫn không bị ảnh hưởng.
4. So sánh thẻ meta robots và X-Robots-Tag đã phân phối.
5. Theo dõi trạng thái của URL trong Search Console mà không giả định rằng việc thu thập thông tin lại sẽ diễn ra ngay lập tức.

Sử dụng Công cụ kiểm tra Robots và Công cụ kiểm tra Sơ đồ trang web như các bước kiểm tra riêng biệt. Không xóa các quy tắc rộng mà không kiểm tra mục đích của chúng hoặc hứa hẹn rằng việc gửi lại sơ đồ trang web sẽ khiến Google lập chỉ mục tất cả các mục nhập.

Xem giới thiệu về robots.txt của Google và tổng quan về sơ đồ trang web.