Google ブロックされたリソースを解除すべく、実験的にrobots.txtをいじる ~WordPressの場合~
Google Search Console「ブロックされたリソース」ってなんだ
今年になってからGoogle Search Console(旧ウェブマスーツール)に新しい機能が追加されてるみたいですね。今さらですか。そうですよね。でもいいの。
ここ最近、理解しないままにぼけーっとGoogle Sea・・めんどくさい。グーグル先生の職員室を見ていたら「ブロックされたリソース」というのを発見したのでポチー。「Google Search Console>:Googleインデックス→ブロックされたリソース」
もう・・。なんなんすかもう・・。
「ブロックされたリソース」は解除しないとね。みたいな空気があります。下記の有名サイト様もそうですが、サンプル画像もブロックしまくりの結果になってます。
では、自分の仮設を立てて進めてみますね。
前(前ったって1か月経ってないのに(涙))のrobots.txt
「CSS」や「JavaScript」にGoogleがアクセスできるようにしないと~みたいな話が出てきて、自分は下記のように書いてました。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads
Allow: /wp-includes/js/
Disallow: /*?*
Disallow: /*?
Sitemap: http://自分のドメイン/sitemap.xml.gz
Fetch as Googleで「取得してレンダリング」を使う
Google Search Consoleの「Fetch as Google」を使うと、Googleのクローラーがどんな風にサイトを見ているのかわかります。ここで自分のサイトのトップページを確認。スマホとPC両方確認しましょう。「Google Search Console>:クロール→Fetch as Google」
で、下に出てきた「 /(スラッシュ)」をクリックするとトップページのレンダリングの詳細がでます。ちなみに右側に「一部」って書いてるのは「うちのクローラーが見に行ったけど、一部分が見えないようになってるよ」という意味。
詳細を見ると画面が2つあってクローラー(bot)が見た状態(左)と、人間が見た状態(右)があります。要はこの2つを同じようにしなさいよってGoogleは言っているんだと思います。
この2つの画像の下に「Googlebot はこのページの一部のリソースを取得できませんでした。」みたいなことを書かれている場所があれば、それがブロックされたリソースです。
あ。/wp-content/plugins/ってrobots.txtでDisallow(許可しない)ってしてるやつだ・・。このほかにも/wp-content/themes/も多かったです。
ブロックされたリソースを解除するrobots.txtを実験で作る
ということで、Googleから特に指摘されている「ブロック」部分を解除すべく、臨時で下記のコードにしました。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/plugins
Disallow: /wp-content/cache
Allow: /wp-content/themes
Allow: /wp-content/uploads
Allow: /wp-includes/js/
Disallow: /*?*
Disallow: /*?
Sitemap: http://自分のドメイン/sitemap.xml.gz
このrobots.txtを作ったあとにFetch as Googleをすると確かにブロックされた要素が減少します。(外部サイトのは対処できていない)
とはいえ、まだ「ブロックされたリソース」のページではリアルタイムに反映されるわけではなさそうなので、またもや様子見です。わかり次第報告します。
様子見ばかりのブログでごめんなさい。
追伸:この記事をアップした直後に「robot.txt、robots.txtが混在してるよ」と痛烈なご批判をいただきましたので修正しました。カッチィさんありがとうございます。