Robots.txt Checker

Bot này có được crawl URL theo robots.txt không?

Nhập URL đầy đủ gồm path/query, chọn bot rồi kiểm tra. Công cụ gộp nhóm cùng bot, chọn nhóm cụ thể nhất và quy tắc khớp dài nhất; Allow thắng khi hòa. Kết quả chỉ ra nhóm, quy tắc và dòng để bạn đối chiếu nội dung gốc.

Đây là mô phỏng rule hiện tại, không xác minh bot truy cập thực, index, ranking hay trích dẫn AI. Training khác search; ChatGPT-User có thể không áp dụng robots.txt cho yêu cầu người dùng. Google-Extended là token kiểm soát sản phẩm, không phải bot HTTP riêng. llms.txt không bảo đảm được trích dẫn.

Ví dụ: Disallow: /private và Allow: /private/open trong cùng nhóm sẽ cho phép /private/open. Hãy kiểm tra cả URL có query; dấu $ khớp cuối toàn đường dẫn/query.

Nguồn và phương pháp: RFC 9309 · Google · OpenAI · Anthropic

robots.txt làm gì cho SEO?

Robots.txt hướng dẫn crawler tuân thủ quy tắc về đường dẫn được crawl. Cần đọc đúng nhóm User-agent và đường dẫn trước khi sửa.

Disallow kiểm soát crawl, không bảo đảm xóa URL khỏi tìm kiếm. Công cụ tải robots.txt, liệt kê nhóm User-agent, quy tắc, sitemap và nội dung gốc. Đọc quy tắc trong đúng nhóm: đường dẫn bị chặn với một bot không tự áp dụng cho mọi crawler. Muốn loại một trang công khai khỏi index, cần để Google đọc được noindex. Nội dung bí mật vẫn cần xác thực. File không tồn tại và lỗi máy chủ là hai trường hợp khác nhau; hãy xem phản hồi HTTP khi chẩn đoán quyền truy cập.

• Đếm quy tắc Allow/Disallow và User-agent
• Phát hiện khai báo Sitemap trong robots.txt
• Hiển thị nội dung gốc để đối chiếu

Ví dụ cách đọc và sửa kết quả

Ví dụ minh họa, không phải kết quả kiểm tra website của bạn.

Sau khi đưa website từ staging lên production, file có nhóm "User-agent: *" và "Disallow: /". Xác minh môi trường và nhóm bot bị ảnh hưởng trước khi gỡ quy tắc; giữ nguyên các vùng riêng tư cần bảo vệ.

Nếu mục tiêu là loại một trang công khai khỏi tìm kiếm, cho phép Google crawl để đọc noindex. Chặn URL trong robots.txt có thể khiến Google không đọc được noindex; URL bị chặn vẫn có thể xuất hiện nếu được liên kết từ nơi khác.

Robots.txt không phải cơ chế phân quyền. Trang tài khoản hoặc tài liệu bí mật cần xác thực ở máy chủ, kể cả khi đã khai báo Disallow.

Google Search Central