robots.txtがこんなに重要だったとは。。。身をもって知りました

更新日 2012年4月28日

先日、わけあってロリポップからサクラインターネットにサーバを移行した際に、robots.txtを設置するのを忘れていました。忘れていたというより、設置しなくても問題ないと思っていました。

ところが、サーバを移行して数日後Google Analyticsを見ると、なぜかアクセスが急激に減っています。あわててGoogleウェブマスターツールで確認したら、赤で大きく「エラー」と出ていて robots.txt が読み取れないとのこと。早速、robots.txt をサイトのルートディレクトリにアップしました。robots.txt を設置してからアクセスが回復してきたのと、クロールエラーの割合が減っているのでアクセス激減の理由はやはり robots.txt だったようです。

[追記] その後、数日たってアクセスがもとに戻りました。やはりアクセス激減の原因はrobots.txtでした。

ウェブマスターツールの「Robotsのエラー」には以下のように説明されており、サクラのサーバでこの状況に当てはまっていたようです。

robots.txtが存在しない場合デフォルトでアクセスをブロックしていないと認識する
200/404エラーが確認できない場合はクロールしないらしい

Robots のエラー
Googlebot は、サイトをクロールする前にそのサイトの robots.txt ファイルにアクセスして、ページや URL に対する Google のクロールがブロックされているかどうかを調べます。robots.txt ファイルは存在していても到達不可能である場合（つまり、HTTP ステータスコード 200 または 404 が返されるのではない場合）は、許可されない URL を Googlebot がクロールするおそれがあるため、代わりにクロールが延期されます。robots.txt ファイルに正常にアクセスできる状態になると、Googlebot は直ちにサイトのクロールを行います。ロボット除外プロトコルについて詳しくはこちら（リンク先は英語）をご覧ください。

（robots.txt ファイルが必要となるのは、検索エンジンのインデックスに登録したくないコンテンツがサイトに含まれる場合のみです。サイトのすべてのコンテンツを検索エンジンのインデックスに登録したい場合は、robots.txt ファイルは必要ありません。このときに、空のファイルを置く必要はありません。robots.txt ファイルが存在しない場合は、Googlebot がこのファイルをリクエストしたときにサーバーから 404 が返されますが、サイトのクロールは続行されます。）

— 「ウェブマスターツール: Robotsのエラー」より引用

教訓

サーバの移行などウェブサイトに大きな変更があった場合は、以下を注意したい：

robots.txtの設置を忘れない！
Googleウェブマスターツールに登録して定期的にに確認
Google Analyticsでアクセスをモニターする

今回は個人のサイトなのであまり気にしてませんでしたが、検索エンジンからのアクセス流入の増減はウェブサイトに多大な影響を及ぼします。ビジネスの場合は死活問題にもなりかねません。「再確認しておきたい、GoogleへのSEOで忘れがちな16のポイント」なんていう記事もあったので、あわせてチェックしたいですね。

当然なんですが、Googleの存在の大きさと細かいSEO知識の必要性を再認識した出来事でした。

2012年4月17日に公開され、2012年4月28日に更新された記事です。

About the author

「明日のウェブ制作に役立つアイディア」をテーマにこのブログを書いています。アメリカの大学を卒業後、ボストン近郊のウェブ制作会社に勤務。帰国後、東京のウェブ制作会社に勤務した後、ウェブ担当者として日英バイリンガルのサイト運営に携わる。詳しくはこちら。

ウェブ制作・ディレクション、ビデオを含むコンテンツ制作のお手伝い、執筆・翻訳のご依頼など、お気軽にご相談ください。いずれも日本語と英語で対応可能です。まずは、Mastodon @rriver@vivaldi.net 、Twitter @rriver 、またはFacebook までご連絡ください。

この記事をシェアする