Toolipedia 埋め込み
JA
← すべてのテキストツール

robots.txtテスター

robots.txtを取得または貼り付けて、GooglebotなどのクローラーがURLにアクセスできるかテストします。

  • 無料
  • 登録不要
  • どの端末でも使える

約robots.txtテスター

サイトのrobots.txtを取得するか、自分のものを貼り付けて、Googlebotのようなクローラーが特定のURLにアクセスできるかをテストします。ルールはユーザーエージェントごとに照合され、最も長く一致するパスが優先されます。robots.txtはクロールをブロックするだけで、インデックスをブロックするものではないため、ブロックされたURLでも検索結果に表示されることがあります。

robots.txtテスターの使い方

  1. サイトのアドレスを入力してrobots.txtを取得するか、ファイルの内容を貼り付けてください。
  2. テストしたいURLのパスを入力してください。
  3. クローラーを選んで、許可されているかブロックされているかを確認してください。

このツールを使う理由

別名

よくある質問

robots.txtでページをGoogleから隠せますか?

確実ではありません。クロールは止まりますが、ブロックされたURLでも、ほかのページからリンクされていればインデックスされることがあります。ページを検索結果に出さないようにするには、noindexタグかパスワード保護を使ってください。

スラッシュだけのDisallowは何を意味しますか?

Disallow: /は、クローラーにサイト内のどのページにも訪問しないよう指示します。ステージング環境のローンチ後に誤って残されていることがよくあるため、公開前にテストしてください。

AllowとDisallowの両方が一致する場合、どちらのルールが優先されますか?

Googleなどの検索エンジンは、最も限定的なルール(通常は最も長く一致するパス)に従います。ここで正確なURLをテストして、ファイルでの結果を確認してください。

robots.txtテスターは無料ですか？

はい。Toolipediaのrobots.txtテスターは無料で、登録不要、透かしもありません。

安全に使えますか？

はい。すべての計算はブラウザ内で行われ、入力した内容が当社サーバーに送信されることはありません。

スマートフォンでも使えますか？

はい。AndroidやiPhoneの最新ブラウザのほか、タブレットやパソコンでも使えます。インストールは不要です。

アカウントは必要ですか？

いいえ。ページを開いてツールを使うだけです。登録もメールアドレスも不要です。

robots.txtテスター を自分のサイトに置けますか？

はい。ツールの下にある「サイトに埋め込む」ボタンで短いコードをコピーし、ページに貼り付けてください。無料でアカウントも不要、ツールはページ内でそのまま動作します。

関連ツール