ちゃいのWEB盆栽

浅瀬でぱちゃぱちゃWEBいじり。

Google ブロックされたリソースを解除すべく、実験的にrobots.txtをいじる ~WordPressの場合~

Google Search Console「ブロックされたリソース」ってなんだ

今年になってからGoogle Search Console(旧ウェブマスーツール)に新しい機能が追加されてるみたいですね。今さらですか。そうですよね。でもいいの。

ここ最近、理解しないままにぼけーっとGoogle Sea・・めんどくさい。グーグル先生の職員室を見ていたら「ブロックされたリソース」というのを発見したのでポチー。Google Search Console>:Googleインデックス→ブロックされたリソース」

f:id:chai-desu:20150824164357g:plain

もう・・。なんなんすかもう・・。

「ブロックされたリソース」は解除しないとね。みたいな空気があります。下記の有名サイト様もそうですが、サンプル画像もブロックしまくりの結果になってます。

www.suzukikenichi.com

では、自分の仮設を立てて進めてみますね。

 前(前ったって1か月経ってないのに(涙))のrobots.txt

CSS」や「JavaScript」にGoogleがアクセスできるようにしないと~みたいな話が出てきて、自分は下記のように書いてました。 

chai-desu.hatenablog.com

 User-agent: *

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads
Allow: /wp-includes/js/
Disallow: /*?*
Disallow: /*?

Sitemap: http://自分のドメイン/sitemap.xml.gz

Fetch as Googleで「取得してレンダリング」を使う

Google Search Console「Fetch as Googleを使うと、Googleクローラーがどんな風にサイトを見ているのかわかります。ここで自分のサイトのトップページを確認。スマホとPC両方確認しましょう。「Google Search Console>:クロール→Fetch as Google

f:id:chai-desu:20150824165729g:plain

で、下に出てきた「  /(スラッシュ)」をクリックするとトップページのレンダリングの詳細がでます。ちなみに右側に「一部」って書いてるのは「うちのクローラーが見に行ったけど、一部分が見えないようになってるよ」という意味。

詳細を見ると画面が2つあってクローラーbot)が見た状態(左)と、人間が見た状態(右)があります。要はこの2つを同じようにしなさいよってGoogleは言っているんだと思います。

この2つの画像の下に「Googlebot はこのページの一部のリソースを取得できませんでした。」みたいなことを書かれている場所があれば、それがブロックされたリソースです。

f:id:chai-desu:20150824170922g:plain

あ。/wp-content/plugins/ってrobots.txtでDisallow(許可しない)ってしてるやつだ・・。このほかにも/wp-content/themes/も多かったです。

ブロックされたリソースを解除するrobots.txtを実験で作る

ということで、Googleから特に指摘されている「ブロック」部分を解除すべく、臨時で下記のコードにしました。

User-agent: *

Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/plugins
Disallow: /wp-content/cache
Allow: /wp-content/themes
Allow: /wp-content/uploads
Allow: /wp-includes/js/
Disallow: /*?*
Disallow: /*?

Sitemap: http://自分のドメイン/sitemap.xml.gz

このrobots.txtを作ったあとにFetch as Googleをすると確かにブロックされた要素が減少します。(外部サイトのは対処できていない)

とはいえ、まだ「ブロックされたリソース」のページではリアルタイムに反映されるわけではなさそうなので、またもや様子見です。わかり次第報告します。

様子見ばかりのブログでごめんなさい。

 

追伸:この記事をアップした直後に「robot.txt、robots.txtが混在してるよ」と痛烈なご批判をいただきましたので修正しました。カッチィさんありがとうございます。