2008年8月26日

ブログ内のデータベースもクロールする検索クローラ

検索クローラーとMTブログコンテンツ 1/2
 たまたま偶然なんですが、検索クローラーがブログ内部にあるデータベースを検索している証拠を 掴みました。
用語解説
 この記事のなかで使う用語を最初に解説します。
  • 検索クローラ:検索エンジンの代理(エージェント)としてWebサイトの情報を集めるロボット
  • ブログ:データベースに記事を投稿して、それを編集・表示する仕組み
  • サイト内ブログ:HPと同じドメインのなかにブログを作ること
  • MT(Movable Type):サイト内にブログを作るソフト,シックスアパート社が提供する
  • ログ:HP閲覧者の記録のこと
  • IPアドレス:インターネット上の住所、電話番号に相当する。アクセス者のIPアドレスから組織が判明できる
  • サイト内ブログ:HPと同じドメインのなかにブログを作ること
サイト内ブログデータベースを検索するクローラ

 2008年8月25日にある調査をしているときに、自社ブログを内の管理画面を操作しているうちに、 検索エンジンクローラがサイト内のデータベースを検索していることに気がつきました。

調査の仕方
管理画面の「ログ」をクリック
①管理画面の「ログ」をクリック:MTの管理画面のログをクリックします。
ログ表示
②ログ表示:ログが表示されます。

ここから、わかることは、何者かがブログ内部データベース検索していることがわかると思います。
blogを検索しているものの正体
 そこで誰がブログを検索しているのかをIPアドレスで追跡してみることに しました。当社のブログ内データベースを頻繁にアクセスしているもののIPアドレスは 「66.249.67.106」「74.6.8.92」でした。
3IPひろば、を使うIPひろばを使えば、そのアクセス者の素性がわかります
MT内部のデータベースのアクセス者

 データベースのアクセス者の正体は次のとおりです。
**************
IPアドレス 74.6.8.92
ホスト名 llf520031.crawl.yahoo.net
IPアドレス割当国 アメリカ合衆国 ( us )
***************

++++IPアドレス 66.249.67.106
ホスト名 crawl-66-249-67-106.googlebot.com
IPアドレス割当国 アメリカ合衆国 ( us )
++++++++++++++++++++++++++++++
 ということで、YahooクローラとGoogleクローラが頻繁にブログ内部を特定キーワードで頻繁に検索していることが わかります。

まとめ
 ここまでの内容をまとめます。
  • 事実:Yahoo,Googleクローラは頻繁にブログ内データベースを検索している
  • 推理1:ブログ内に特定のキーワードに該当するコンテンツがあるか検証しているはずである
  • 推理2:ブログ内のエントリ(記事)のキーワードは重要
 次回はもう少し研究を進めた結果をお届けしたいと思います。

comments

comment form

(BtoB/BtoC及びSEOの基礎知識 にはじめてコメントされる場合、不適切なコメントを防止するため、掲載前に管理者が内容を確認しています。適切なコメントと判断した場合コメントは直ちに表示されますので、再度コメントを投稿する必要はありません。)

comment form