ドメイン取得の翌日にクローラーが来た。検索エンジンの巡回申請は不要！

2010年10月18日に新しくドメインを取得したのだが、その翌日にはもうYahoo!のクローラーがトップページを確認しに来た。

このことから、検索エンジンの巡回依頼のフォームにURLアドレスを打ち込んで申請するという行為は、ムダなのではないかと推察する。

ロボットの巡回依頼はムダか

新規ドメインを取得して、すぐさまDNSの設定をして開通させ、トップページをアップロードしてアクセスログの取得を始めた。すると、12時間後にはYahoo! Slurp/3.0がindex.htmlをクロールしていった。アクセス解析のログは以下の通り。

Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)の文字も。

笑えることに、ホームページの閲覧者は、1番目が自分自身。2番目がYahoo!のロボットだった。

実は、こんなにも早くクローリングが行われるとは思っておらず、後で自分の手持ちのサイトからリンクを貼って、それからロボットに存在を知らせようと思っていた。

今回はまさしく不意打ちクロールを喰らったことになり、index.htmlだけはきちんと作り込んでおいて良かったと、胸をなで下ろす結果となった。

結局の所、ネット黎明期に行っていたロボットの巡回依頼は、もはや形式だけの中身のない不必要な物になっている。

ドメインを取る前に注意したいこと

今回の一件で、ドメイン取得前に、あらかじめコンテンツを用意しておくべきだと思うようになった。

適当なコンテンツを作ってアップロードして、そこをクロールされてしまうと、後々しっかりした別のコンテンツをアップロードした場合、ロボットにコンテンツ内容急変を察知されて、ちょっぴり不利になるような気がした次第。

まとめておくと、サイト構築の初期にあたっては、以下のように取りかかりたい。

1. ローカルでコンテンツ作成。リンク切れチェック。
2. サーバー確保。
3. ドメイン取得。
4. アドレスとサーバーの設定。
5. コンテンツをアップロード。
6. 巡回の申請はお好みに応じて。

この順序だと検索エンジンロボットの無用な混乱を防止できるのではないだろうか。

工程の最後の巡回申請はしてもしなくても、結局ロボットは来るわけで、もう不要なのではないだろうか。

でも、Yahoo!Japanの検索部分はGoogleの物を使うようになるはずだけど、一応Yahoo! Slurp/3.0は巡回しているわけで、、、

検索内容の表示はGoogleとYahoo!のハーフみたいな感じになるのだろうか。今後の動きに注目したい。

[1回]