てもとツール
ガイド

robots.txtでブロックしたのに検索結果に出る理由

robots.txt が止めるのはクローラーが取りに行くことだけで、検索結果から消す仕組みではありません。ブロックした URL が説明文なしで出る理由と、noindex との役割の違い、両方を同時に使うと noindex が読まれない順番の問題を、Google の説明をもとに整理します。

公開読了目安 約4分

この記事の要点

  • robots.txt が止めるのは、クローラーが取りに行くことだけ
  • ほかのページからリンクされた URL は、説明文なしで結果に出ることがある
  • 検索結果に出したくないページには noindex を使う
  • robots.txt で止めたページの noindex は、クローラーに読まれない
  • 誰にも見せたくない内容は、パスワードなどで守る
目次

robots.txt でブロックしたページが検索結果に出るのは、robots.txt が「検索結果から消す仕組み」ではないためです。 robots.txt が止めるのは、クローラーがそのページを取りに行くことだけです。

Google の説明では、ブロックした URL もほかのページからリンクされていれば、URL だけが結果に出ることがあります。 結果に出したくないときに使うのは、ページ側に書く noindex です。

robots.txt が決めるのは「取りに行くか」まで

検索エンジンがページを結果に出すまでには、大きく 2 つの段階があります。 ページを取りに行って読む段階と、読んだ内容を結果に載せる段階です。

robots.txt が関わるのは、前の段階だけです。 Google はこのファイルを、サイトへのアクセスが集中しすぎないように使うものだと説明しています。

やりたいこと使うもの効く段階
クローラーに取りに行かせないrobots.txt取りに行く段階
検索結果に出さないnoindex結果に載せる段階
誰にも中身を見せないパスワードなどの保護そもそも開けない

表の 3 つは、似ているようで守っているものが違います。 robots.txt は 1 行目だけを受け持っていて、2 行目と 3 行目の代わりにはなりません。

ブロックした URL が結果に出るときの見え方

取りに行けないページは、中身を読まれていません。 それでも、ほかのページに貼られたリンクから、URL の存在だけは知られます。

Google の説明では、この場合は URL が結果に出ても、説明文は表示されません。 ページの中身を読んでいないので、説明に使う文章が無いためです。

消したいなら noindex を使う

検索結果に出したくないページには、noindex を使います。 ページの頭の部分に書くか、サーバーの返事に付けるかの 2 通りがあります。

  • ページに書く形: <meta name="robots" content="noindex">
  • サーバーの返事に付ける形: X-Robots-Tag: noindex

Google の説明では、クローラーがこの指示を読むと、リンクの有無にかかわらず結果から外します。 どちらの形でも、クローラーがページを取りに行って初めて読まれる点は同じです。

両方を同時に使うと noindex が読まれない

ここで見落としやすい落とし穴があります。 noindex を書いたページを robots.txt でも止めると、noindex が働きません。

noindex はページの中に書く指示なので、クローラーが取りに行って初めて読まれます。 robots.txt で止めていると、クローラーはそのページを開けず、指示に気づけません。

Google も、noindex を効かせるには robots.txt で止めないように、と明記しています。 止めたまま URL がリンクされていれば、結果に出続けることがあるとも書かれています。

robots.txtnoindex起きること
止めない書かない普通に取りに行き、結果に載りうる
止めない書く取りに行って指示を読み、結果から外す
止める書かない取りに行かない。URL だけ出ることがある
止める書く指示が読まれない。URL だけ出ることがある

いちばん下の行は、両方を書いて安心しやすい組み合わせです。 「止めたうえに外す指示も書いた」のに、指示のほうは届いていません。

自分の URL が止まっているかを確かめる

まず、気になる URL が robots.txt で止まっているかどうかを確かめます。 止まっているなら、そのページの noindex はクローラーに届いていません。

確かめるには、robots.txtテスターにサイトの robots.txt と URL を貼り付けます。 決め手になった行の番号が出るので、どの行が止めているかがすぐ分かります。

見た目は正しいのに効いていない行もあります。 区切りが全角の「：」になっている行は、丸ごと読まれません。

誰にも見せたくない内容は robots.txt に頼らない

robots.txt は誰でも開けるファイルです。 止めたい場所を書けば、その場所があることを公開しているのと同じになります。

Google も、すべての検索エンジンが robots.txt に従うとは限らないと説明しています。 中身そのものを守りたいときは、パスワードなどで開けないようにするのが本筋です。

関連記事

参考・出典

本記事は上記の公的機関・公式情報源を参考にしています。最新の情報は各リンク先をご確認ください。

あわせて読みたい

同じテーマ・関連ツールの記事です。