記事のリライト時にどの記事からリライトすべきか?をリサーチする為にGoogleアナリティクスやSearchコンソールを利用。

Search Consoleで現在のステータスを見てみるといつもと何かが違う!?

アクセスが拒否されました(7)
見つかりませんでした(61)

 

どういうこと?

 

「クロール」⇒「クロールエラー」をクリック

 

「アクセスが拒否されました」をクリック

 

エラーのあるページが表示されます。

 

URLをクリックするとエラーの詳細が表示されます。

GooglebotはサイトのURLをクロールできませんでした。サーバーでページにアクセスするのに認証が必須となっているか、サイトへのGooglebotによるアクセスがブロックされていることが原因です。

 

これってGooglebotがワードプレスの管理画面にアクセスしようとして認証できず先へ進めなかったことでエラーとなったのでしょう。

このエラーがSEOに影響するかどうかはわかりませんが毎回エラーが検出されるサイトは良く思われないと思うのでエラー回避の対策を練ってみようと思います。

 

 

アクセス拒否エラーの対処方法

エラーの詳細末尾の「詳細」をクリックします。

・サイトのrobots.txtファイルが想定どおりに動作しており、Googleのアクセスをブロックしていないかどうかをテストします。
robots.txtテストツールを使用すると、robots.txtファイルの内容がGooglebotによって実際にどのように解釈されるかがわかります。
GoogleのユーザーエージェントはGooglebotです。
・Fetch as Googleを使用して、サイトがGoogleからどのように認識されるかを確認します。
このツールは、サイトのコンテンツや検索結果への表示の問題のトラブルシューティングを行う場合にとても便利です。

 

このように対処方法が書いてあります理解するのが難しいですね(笑)

 

 

robots.txtファイルとは?

robots.txtファイルはサイトのルートに配置するファイルで、検索エンジンのクローラにアクセスされたくないサイトのコンテンツを指定します。

ということはワードプレスの管理画面にアクセスさせない為に「エラーのあるページ」のURLをクローラに教えてあげるファイルを作成すれば良いということになりますね。

 

 

robots.txtファイル作成

今回はワードプレスの管理画面にアクセスさせないようにします。

robots.txtファイルを簡単に作成できる便利ツールをみつけたのでこちらにアクセスします。

robots.txt.Maker

 

1.検索エンジンを指定してください

すべての検索エンジンにチェックを入れます。

 

2.クロールを拒否するディレクトリを指定してください。

「/wp-login.php」「/wp-admin/」を入力します。

 

3.Sitemapがある場合はSitemapのurlを指定してください

SEO的に効果的なサイトマップを作成している場合はクローラにサイトマップの場所を知らせることが出来ますので指定しておきましょう。

 

4.作成ボタンをクリックしてrobots.txtを作成

「作成」ボタンをクリック

 

 

するとメモ帳にこのように記述されたファイルが作成されます。

 

robots.txtの作成が出来たらサーバにアップロードします。

 

 

robots.txtをサーバにアップロードする

robots.txtをアップロードする場所はルートドメインにアップしなければならないようです。

“http://ドメイン名/robots.txt”

当サイトでいえば“http://setsuyakupapa.com/robots.txt”としなければならないのでアップロードする場所はルート直下になります。

こんな感じになります。

 

 

■ブロックされたURLを確認

robots.txtをアップロードしたら再び「Search Console」に戻り「robots.txtテスター」を開いてみます。

最近バージョンが2017/8/31になっていますね。

 

 

こちらに先ほど作成したrobots.txtに書き換えます。

するとエラーがなくなりました。

確認が出来たら「送信」をクリック

 

 

 

「Googleに更新をリクエスト robots.txtファイルが更新されたことをGoogleに知らせるリクエストを送信します。」の横の「送信」をクリック

 

 

送信しました。すぐにテスターページを再読み込みしてタイムスタンプを確認してください。

と表示されますのでブロックされてるかを確認してみたいと思います。

 

 

 

ブロックして欲しいとクローラにお知らせした「wp-login.php/」を入力して「テスト」をクリック

 

 

許可済になることを確認しましょう。

 

 

再度、クロールエラーへ戻り「エラーのあるページ」のURLにチェックを入れ、「修正済みとする」をクリック

 

 

対象のエラーに「修正済」のマークを付けますか?と聞かれるので「OK」をクリック

 

 

これで様子を見てみたいと思いますがもしも、 「こんなんじゃ解決できてないよ」「もっとこうしたら良いよ」ってことがありましたらお問い合わせ、もしくはコメント欄から教えていただけると嬉しいです。

 

 

 

と書いておきながらエラーのあるページは”wp-content/uploads/”だったことに気がつきこれもrobots.txtに追加してみたいと思います。

先ほどアップロードした「robots.txt」にカーソルを合わせ「右クリック」⇒「表示/編集」をクリック

 

 

 

“Disallow : // wp-content/uploads/”を追記します。

 

 

「ファイル」⇒「上書き保存」をクリックしファイルを閉じる

 

 

このファイルをサーバに戻すためにアップロードしますか?問われるので「はい」をクリック

 

これで様子をみてみたいと思います。