ウェブマスターツールのクロールエラーを確認したら、URLエラーが１個あるよ！と言われました。この一カ月強、ほぼ毎日ブログを更新していますが、クロールエラーがあったのは初めてです。
今後、検索流入に影響があるといやん！なので、ちょっと調べてみました。
ウェブマスターツールが何をしてくれるかおさらい。
Google先生の説明。
ウェブマスター ツールとは、Google 検索結果でのサイトのパフォーマンスを監視し、維持できる Google の無料サービスです。
自分のサイトが Google 検索結果に表示されるようにするためにウェブマスター ツールに登録する必要はありませんが、登録していただくと、自分のサイトが Google にどのように認識されるかを確認し、検索結果でのサイトのパフォーマンスを最適化できるようになります。
とあります。
こちらのヘルプに使用目的などについて書かれています。
https://support.google.com/webmasters/answer/4559176?hl=ja
重要な機能は、”自分のサイトがどのようなクエリで検索結果に表示されているか”が分かるというもので、これを利用して自分のコンテンツを再検討できるという素晴らしいものですが、特に「じゃいのあらし！」の様な新参者のブログにとっては重要なのが
”クロール対象の新しいコンテンツを送信する”
機能です。
これは、Google先生に自分のブログ（サイト）にクローラー（＝クロールするソフトウェア）に来てもらうようお願いし、インデックスを促すことができる機能です。
この、クローラーに来てもらって、検索のデータベースに載っけて（インデックスして）もらうために、ウェブマスターツールにFetch as Googleという機能があり、コンテンツを更新した時にはこれをやっておくと有利になると思われます。
やらなくても、他のサイトからのリンクなどでクローラーが来てくれることはありますが、時間がかかるかもしれないし、新参サイトにリンクを張ってくれている所って少ないですよね。
で、この様に手動でお願いできるという事です。
さらに、このクロール時に対象サイトに何らかの問題があればクロールエラーとしてメッセージを置いていってくれます。
このエラーを放ったらかしにしていると、正しく検索データベースに掲載されず、検索からの流入が少ない！なんてことになりかねないわけです。
「じゃいのあらし！」にクロールエラーが！
昨日、記事をアップして「Fetch as Google」を行った後、クロールエラーがないか確認したところ、ありました。URLエラーというものが。
サイトエラーというのは検出されませんでしたとなっていましたが、URLエラーというのがありました。内容を確認してみると、
ターゲット URL が存在しないのに、サーバーから 404（ファイルが見つかりません）エラーが返されません。
とのこと。？？？
URLから、なんのページか調べて見ると、私のブログのカテゴリーで「未分類」となるもののリストが表示されるべきページがないんですって。
実際にアクセスしてみると、こんなページが表示されました。
あれえ、あるじゃん（！）ちゃんと404返してるからこのページが出てるんじゃないの？？おら、わかんねえど！
イヤ、NOT FOUNDとか書いてあるのに200を返してしまっているのでクロールエラーになっているってことか？？？
404エラーとソフト404エラーの違い
404エラーは、要求されたURLが存在しないものだと認識したときにWEBサーバーがクライアントに返すHTTPステータスです。
それに対して、ソフト404エラーというのは、Not Found!などという文字列がページに表示されていて、存在しない事をアピールしているURLなのにもかかわらず、サーバーのレスポンスとしては200（正常のページ）のHTTPステータスが帰ってくる場合を差します。
検索のクローラーからしてみれば、Not Found!という文字列を出していることは分かるので、それなのに、200ステータスってどゆこと？という状態になっている模様（ここん所の解釈が間違っていると大変なので、もっとちゃんと書かれているサイトを見ることを自らおススメします）。
おそらくちゃんと書いててくれてる所
http://www.seohacks.net/basic/terms/soft404/
クローラーからしてみれば、
「おいおい、存在しないページです、なんてぬかしてやがるページはインデックスしてる場合じゃねんだよ！こちとら忙しいんでい！そーゆーページは404返しやがれ！次から見ねえからよ！」
さらに、
「ちゃんと404返すようにしたら、見る人に対しては”ページがないのでトップにジャンプします”等お知らせしてあげてね！」
という事のようです。
調べていたら、この2点がごちゃまぜに書いてある所が多くて分かりにくかった（おバカなだけ？）のです。ウェブマスターツールにおけるエラーメッセージ、
ターゲット URL が存在しないのに、サーバーから 404（ファイルが見つかりません）エラーが返されません。
というのも非常に分かりにくい。
先ほどの”おそらくちゃんと書いててくれる所”にたどり着いてすっきりしました。
ひとまずの対応
ひとまず、このページにNOT FOUNDという文字列が表示されてしまうのでクロールエラーになっちゃったんだろうなと想像して、記事を１つ未分類カテゴリに入れておきました。
そうすれば、ほら。表示がNOT FOUNDじゃなくなるよ！
荒業ですが、これでひとまずエラーなくなりますかね？しばらく様子見します。
しかし、これまでカテゴリ未分類の記事はアップしていなかったので、このページはずっとNOT FOUNDという文字列が表示されていたはずなのですが、なぜ今更エラーになったんでしょうか。
それもまた不思議なのでまた調べます。
でも今日はここまで。
もし、理解が間違ってるよ！という方、いらっしゃいましたらご一報くださいませ。
4月27日 追記
クロールエラーがなくなっていました。ウェブマスターツールの画像がこちら。
なぜ90日間エラーが無かったと言っているのかは不明。この間1個あるよ！って言った来たばかりなのに、、、。
