サーチコンソールに最新の情報を今すぐ送信したい理由
ホームページを制作したりブログメディアを立ち上げ、サイトオーナーとなったらサーチコンソールに登録してSEO対策を行うことは当然のことのようになってきました。ホームページ立ち上げ直後ではインデックスの登録やサイトマップの送信など、正しく検索エンジンにサイト情報を取得してもらうための重要な操作をしなければなりません。ホームページの運用においてもGoogle検索でのクリック数、表示回数、流入検索キーワードのチェックを行います。狙ったキーワードでサイトに誘導できているか、ペナルティの対象になるようなエラーはないかなどSEO対策にサーチコンソールは欠かせません。
このようにホームページ運営に欠かせないサーチコンソールですが、ビジネス目的のホームページはスピード感を求められます。集客やSEOに大きく影響するため、直ちにサーチコンソールのすべての機能を使いたいケースもあります。
「robots.txt によりブロックされました」エラーの症状
ホームページはローカルサーバーや仮サーバーを立ち上げてエラーチェックや動作確認をするのですが、事情により本番サーバーしか用意できないケースもあります。この場合はrobots.txtで検索エンジンのロボットのクロールを拒否して、製作中のホームページの内容がロボットに取得されないようにします。
そこで問題になるのが、robots.txtにロボットのクロールを拒否する設定（Disallow: / など）をした後、Googleのロボットにその設定が取得されてしまった場合です。ホームページの制作が完了した後、robots.txtのクロールを拒否する設定を削除して、サーチコンソールに登録しようとしても「robots.txtによりブロックされました」とエラーが出て先に進めません。
数日待たずに今すぐエラーを解除する
「robots.txtによりブロックされました」を検索すると数日で解除されるという記事が出てきます。ですが、ビジネスはスピード感が大事。集客目的でホームページを運用する場合は数日も待てません。
サーチコンソール内から分かりやすいリンクがないので発見しにくいのですが、下記のページを確認します。
robots.txt テスターで robots.txt をテストする
https://support.google.com/webmasters/answer/6062598?hl=ja
robots.txtテスターツールを使ってGoogleにrobots.txtの変更を知らせると良いようです。
robots.txtテスターツールで最新の情報を送信する
まずは、robots.txtテスターツールを開きます。
robots.txtテスターツール
https://google.com/webmasters/tools/robots-testing-tool
プロパティはrobots.txtの最新の情報を送信したいサイトのものを選びます。プロパティにないサイトの場合はプロパティを追加しておきます。
プロパティを選択すると現在、Googleが保持しているrobots.txtの内容が表示されます。
最新バージョンをの日付を確認するとrobots.txtを書き換えた日付より前のものになっています。現在はrobots.txtにDisallow: / が設定されていなくても、Googleは古い情報を保持していることが確認できます。
目的に沿った内容でrobots.txtがすでに書き換えられている場合は、「送信」をクリックします。
Googleに更新をリクエストして最新のrobots.txtを取得してもらいます。
正常に更新のリクエストが完了するとテスターページを再読み込みしてタイムスタンプを確認するように促すメッセージが表示されます。
最新バージョンの日付が変わっていたら問題なく送信できています。
再びサーチコンソールを操作してみる
robots.txtによるブロックも解除されているはずなので、再びサーチコンソールを操作します。
URL検索を行ってみます。
インデックス登録をリクエストしてみます。
今度はちゃんとクロール許可されています。
サイトマップの送信も正常に行えるようになっています。