サチコのカバレッジでfeedがインデックス未登録として大量に出現

カバレッジでfeedがインデックス未登録に

どうも、スマコマのKoMAです。

グーグルのサーチコンソールのカバレッジを見ていて気付いたのですが、「クロール済み – インデックス未登録」として feed ページが大量に検出されていました。

この「クロール済み – インデックス未登録」というのは、グーグルのロボットがページを読み込みはしたのだけど、まだグーグルのインデックス(データベース)には登録してないよ。または価値がないと判断したので登録しなかったよという意味になります。

検索エンジン システムのプロセス図で説明すると、以下の赤矢印が指し示す位置の状態(ステータス)です。

クロール済み – インデックス未登録の解説図

なお後者の価値がないと判断されたページをSEO界隈では低品質なページと呼びますが、低品質なページが多くあるとサイトの評価が落ちてしまうのです。

なので「クロール済み – インデックス未登録」はゼロが望ましいわけです。でも feedページだし、まあいいかと思っていたのですが、あまりに数が増えてきて、本当に低品質になっているかもしれないページが埋もれて見つけにくい状態になってきました。

なので、ちょいと設定をいじってみました。その備忘録として記事を起こしています。

feedページの状態をサーチコンソールで確認

まずどんな状態だったのかですが、サーチコンソールでカバレッジを開きます。

クロール済み - インデックス未登録

その中にある「クロール済み – インデックス未登録」で 47件が未登録になっていました。

feed pages

さらに詳細を確認すると、このように URLの最後が feed となっているページが大量に検出されていたのです。

この feedページは、WordPress の機能の1つでコメント欄をオープンにすると自動的に生成されるページです。この feed をグーグルに読み込ませる必要はないので、これを除外したいわけです。

feedページを noindex にする方法

feedページは HTML形式のページではないので、metaタグで noindex することができません。feedのようなXML形式のファイルの場合、HTTPヘッダーの X-Robots-Tag を使って除外する必要があります。

で、その方法ですが、「All In One SEO Pack」というプラグインを使うことで可能になります。(使っているテーマにSEO機能が搭載されていると競合するので注意してください。TCDなど。)

このプラグインは使っている人も多いと思いますが、このプラグインをインストールし有効化すれば自動的にfeedページの HTTPヘッダーに X-Robots-Tag: noindex, follow が追加されます。特に追加の設定などは必要ありませんでした。

HTTPヘッダー

このようにHTTPヘッダーに X-Robots-Tag が追加されていることが確認できました。HTTPヘッダーは、Google Chrome で簡単に確認することができます。

あわせて読みたい記事
HTTPヘッダー情報を確認する方法
どうも、スマコマのKoMAです。 HTTPヘッダーとは、HTMLファイルを受信するために事前にやり取りされるデータのことです。 通常...

ただ解せないのが、そもそもこのプラグインは入っていたこと。なのでプラグインにバグがあったのか、グーグル側の挙動に問題があったのか分かりません。

一応、「クロール済み – インデックス未登録」の状態についてグーグルのヘルプを確認すると以下のように書かれています。

クロール済み – インデックス未登録: ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。(インデックス カバレッジ レポートより

一時的に入る可能性はありそうですね・・・(追記:2019/03/07 グーグルのインデックスも有限で限界が近づいてきたので、仕訳の精度が厳しくなってきているという話を聞きました。)

以下の操作でサーチコンソールを確認するとステータスが [インデックス登録を許可] が [はい] から [いいえ] になったことから、プラグインかグーグルかは分かりませんが、どちからに問題があったのでしょう。

今は正しい状態になっているので、あとはグーグル側の処理待ちですね。

サーチコンソールで確認する方法

ではグーグル側からどのように見えているかも確認しておきましょう。

グーグルサーチコンソールの [カバレッジ] の中にある [除外]パネルをクリックし、さらに[クロール済み – インデックス未登録]をクリックします。

カバレッジ画面

目的の URL にマウスカーソルを当てると虫眼鏡アイコン(URL検査)が出てくるので、それをクリックします。

URL検査

次の画面でインデックスの状態を確認することができます。

インデックス状態を確認

この画面の右上にある [公開URLを検査] をクリックしてみてください。

インデックス状態2

設定が反映されていれば、インデックス許可が「いいえ」になるはずです。

あとは放置しておくだけ。そのうち feedページ群は [noindex タグによって除外されました] に移動してくれるでしょう。

 コメント/質問、お気軽にどうぞ。

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

サーチコンソールで順位を表示させる方法

検索クエリを1000件を越えた部分も含めて調べる方法

自サイトの検索クエリを1000件を越えた部分も含めて調べる方法

WordPress のドメイン名を簡単に変更する方法(ドメイン載せ替え)

サーチコンソールでnoindexタグのエラーが発生した場合

検索クエリで表示されたURLを調べる方法

検索クエリで表示されたURLとデバイスごとのデータを調べる方法もあった

WordPress を新規インストールしてドメイン名を変更する方法