クローラーと、インデックスの仕組み
アフィリエイトや、SEO対策に関する書籍やサイトを見ると、
｢サイトがインデックスされた｣「サイトがインデックスされない」
｢インデックから消されてしまった」
などの言葉を良く目にするだろう。
インデックスとは、YSTやGoogleのロボットなどの検索エンジンが、サイトを巡回し
WEBページを自身のデータベースに登録することを差す。
つまり、ロボットがホームページを記憶することをインデックスされるというのだ。
インデックスの手順としては、
まず、クローラー（スパイダー・ロボット）と呼ばれるプログラムが様々なサイトを巡回し、
リンク情報を辿ってキミのサイトに訪れる。
今度はキミのサイト内を巡回し、個々のページを一旦キャッシュしていく。
（キャッシュというのは、WEBページの一時的な保管庫のようなもの）
キャッシュされた情報はやがてインデックスされていく。
インデックスされることで、初めて検索エンジンはサイトを記憶する。
これは、うる覚えの状態から、しっかりと頭に記憶するイメージだ。
インデックスされたサイト情報は、
検索されるたびに、自身のデータベースから情報を引っ張り出し表示される。
キャッシュされただけの状態では、検索に引っかかることはない。
インデックスされることが重要なのだ。
サイト巡回は速読に近い
また、クローラーによるサイト巡回は、
読書でいうならば、斜め読みや速読などに近い。
クローラーは何十万、何百万というサイトの情報を読み取りながら記憶してゆく。
したがって、じっくりゆっくり読書をするように読むことはできないのだ。
個々のサイトの情報は、クローラーにとって読みやすい場所から読み取られていき、
記憶されてゆく。
そのため、目立たないキーワードや、ページ下部の情報は、読みきれない場合が多いのだ。
様々なSEO対策に関する書籍やサイトで、重要キーワードはHTMLファイルの上のほうに記述しなさいと
書かれている場合が多いが、それはそのためだ。
だからこそ、正しいHTML構文やタグ構成で、
検索エンジンフレンドリーなサイトを作ることがSEO成功には重要になるのだ。
インデックス数の調べ方
キミのサイトが、検索される状態にあるかを調べるには、
検索ボックスに site:URL を入れて検索すれば調べることができる。
例えば、副業の成功道ならば...
site:http://www.seiko-do.jp/
といった具合だ。
ここで表示されたページが、その検索エンジンでインデックスされているページ数だ。
通常は、サイトを公開しYahoo!やGoogleに登録申請（ディレクトリ登録とは別）
をおこなってから、1週間～3週間程度で徐々にインデックスされはじめる。
ちなみに、
全てのページがいっぺんにインデックスされることはないことは認識しておこう。
インデックスされるには？
YSTやGoogleのクローラーは、基本的に特に申請などしなくてもサイト同士のリンクを辿って
キミのホームページを見つけ出しデータベースに登録してゆく。
しかし、いつくるかはロボットの気まぐれだからコントロールはできない。
また、キミのサイトが外部から1つもリンクを受けていないと、
キミのサイトまでたどり着く「道」がないため発見できない。
そんな時には、キミのほうからクローラーに「サイトを作ったから来て！」と呼びかけよう。
Yahoo!やGoogleといった主要検索エンジンには、作成したサイトを申請するページがある。
Googleのサイト登録申請ページ
より精度の高いのが...
Googleのウェブマスターツール
Yahoo!のロボット巡回先への推薦
（YSTへの申請で、カテゴリ登録とは別）
これらの申請ページで登録をおこなうことで、サイトへの巡回を促すことができる。
ただし、申請後すぐにやってきてくれるわけではない。
毎日登録に忙しいロボットは、なかなか手が空かないのだ。
巡回の予約をしたという認識が正しいだろう。
