Robots.txt チェッカー

robots.txt ファイルをチェックし、Allow/Disallow ルール、サイトマップ、ユーザーエージェントを分析します

確認するボット

IPごとに1時間最大6回と共通制限があります。取得するのはrobots.txtのみです。500 KiB、リダイレクト5回まで。プライベートネットワークには接続しません。

robots.txtはこのURLのクロールを許可していますか？

パスとクエリを含むURLを入力し、ボットを選んで確認します。一致するグループを統合し、最も具体的な規則を選びます。同じ長さならAllowを優先します。グループ、規則、行番号を原文と照合してください。

現在の規則のシミュレーションであり、実際のアクセス、インデックス、順位、AI引用を保証しません。学習と検索は別です。ChatGPT-Userにはrobots.txtが適用されない場合があります。Google-Extendedは製品制御用トークンで、独立したHTTPボットではありません。llms.txtも引用を保証しません。

例：同じグループのDisallow: /privateとAllow: /private/openは/private/openを許可します。$はクエリを含むパス全体の終端です。

出典と方法: RFC 9309 · Google · OpenAI · Anthropic

robots.txt は、SEOにどう役立ちますか?

クロールルールを変える前にUser-agentグループと対象パスを確認します。

Disallowはクロールを制御し、検索結果からの削除を保証するものではありません。グループ、ルール、サイトマップ、原文を確認できます。特定botへのルールが全botに適用されるとは限りません。noindexを読むにはGoogleがページへアクセスできる必要があります。秘密情報は認証で保護し、ファイル不存在とサーバーエラーを区別してください。

Allow/Disallow ルールとユーザーエージェントの数を集計
robots.txt 内のサイトマップの宣言を検出
確認のために、生の内容を表示

無料で始める

例: 検出された問題の読み取り方と修正

あくまで例であり、お客様のウェブサイトをチェックしたものではありません。

本番公開後に「User-agent: *」「Disallow: /」が残っていたら、対象グループとパスを確認してから修正します。意図的に制限している範囲まで解除しないでください。

Googleがnoindexを読むにはページをクロールできる必要があります。ブロックされたURLでも外部リンク経由で検索結果に出る場合があります。非公開文書には認証が必要で、robots.txtはアクセス制御ではありません。

Google Search Central

3ステップで使う

1ウェブサイトのURLを入力します(ツールが /robots.txt を自動的に探します)。
2「robots.txt をチェック」をクリックして、ファイルを取得して解析します。
3Allow/Disallow ルール、ユーザーエージェント、サイトマップの宣言を確認します。

よくある質問

robots.txt は、noindex タグとどう違いますか?

robots.txt はクロールをブロックします(Google はそのページを読み込みません)。一方、noindex はクロールを許可したうえで、ページをインデックスに載せないようにします。ページを Google から削除したい場合は、robots.txt ではなく noindex を使ってください。

robots.txt が誤ってブロックしているかどうか、どうすればわかりますか?

「Disallow: /」の行(すべてをブロック)や、/blog や /products などの重要なフォルダへのブロックがないか確認してください。このツールは、ブロックされているパスを明確に一覧表示します。

robots.txt にサイトマップを宣言すべきですか?

はい。「Sitemap: https://yoursite.com/sitemap.xml」を追加すると、手動で送信しなくても、あらゆる検索エンジンがサイトマップを見つけられます。

サイトに robots.txt がない場合は?

問題ありません。その場合、検索エンジンはすべてをクロールすることがあります。ただし、robots.txt を作成すると、クロールを制御し、サイトマップを宣言できます。