Google検索の仕組みの基本！クロールとインデックスされない恐怖を知っておかないと…

2015

07/24

Updated

2016.09.08

2015

07/24

Published

2015.07.24

/ 松原 潤一

　 　　

\ この記事を共有 /

B!

リンクをコピーする

Google検索の仕組みの基本！クロールとインデックスされない恐怖を知っ...

松原 潤一

B!

リンクをコピーする

検索してますか？

どうも、ブログマーケッターJUNICHIです。

Google検索、Yahoo検索、現代を生きる人のほとんどが使った事があると思います。

でも、検索の仕組みってどうなっているか知っていますか？

検索をする側にいると、何気なく使っているから考えたことがないかもしれないけど、ブログなどのWEBサイトを運営している人なら絶対知っておいてほしいです。

特に自分のブログへのアクセス数をアップさせたいなら、検索の仕組を理解する事はめちゃくちゃ大事です。

そこで今回は、検索ってどういう仕組みで成り立っているのか、Googleのサイトを参考に超分かりやすく解説しまっせ！

検索順位を決めているのは、検索エンジン

検索エンジンっていうのは、日本で有名なところで言うと、「Google（グーグル）」や「Yahoo（ヤフー）」の事。

一昔前までは、GoogleとYahooは別の検索エンジンの仕組みを使っていたんですが、2010年11月末に、YahooもGoogleの検索エンジンのシステムをそのまま導入することになりました。

だけど、GoogleとYahooが同じ検索エンジンを使っているのに結果が違う

これは気になるところ。

GoogleもYahooも同じ検索エンジンを使っているのに、実は検索結果が違うんですよ。

表示される順位が変わっていたりします。

例えば以下の画像を見てください。

これは「ウェブ漫画　描き方」で検索をした時のGoogleとYahooの検索結果1ページ目。（2015年1月時点）

赤枠で囲ったのが、僕のブログサイト。

ちょっと見にくいけど、Google検索結果では5番目の表示、Yahoo検索では4番目の表示となっています。

同じキーワードで調べたのに何故？って思いますよね。

GoogleとYahoo、両方がGoogleの検索システムをもとに検索結果を表示しているのにね。

Google検索とYahoo検索の結果が違う理由

Googleの検索エンジンの仕組みを使っているのに、何故Yahoo検索と結果が違ってくるのか？

もちろん、YahooがGoogle検索エンジンを使っています。

だけど、結果が異なるのは、Yahooが特殊なフィルターをかけているからなんです。

例えば、以下のような見方があります。

1. Yahooの表示順はYahoo!カテゴリの登録サイトが有利になる傾向がある
2. Yahooで独自のペナルティ基準に該当するサイトは、Yahooの検索順位が下がる
3. Googleはパーソナライズ検索により、ユーザーによって検索結果の順位全体が変わるが、Yahooのパーソナライズ検索は一つのリンクに限定される。
4. Yahoo検索ではYahooのサービスを検索結果に埋め込む場合が多い（Yahoo!知恵袋など）
5. 上記以外にもYahooは独自のフィルターをかけて、検索結果を変えている

これらの理由によってGoogleとYahoo!の表示順が異なるという現象が起きています。

 検索エンジンの仕組み

検索結果、順位を決めているのは「検索エンジン」です

あなたのサイトやブログを検索上位表示させたいのなら、まずはこの「検索エンジン」の仕組みを知る必要があります。

覚えておきたいのは二つ。「クロール」と「インデックス」という言葉。

クロールとは？

Googleが、「ウェブクローラー」っていうソフトウェアを使って、世界中にあるWEBページの情報を集めることをクロールって言います。

最もよく知られているウェブクローラーは「Googlebot」という巡回ロボットです。

検索エンジン（ボス）は「クローラー」というロボットを手下に抱えています。

クローラーロボットの仕事は、検索エンジン（ボス）の命令を聞いて、世界中のWEBサイトの情報を集めてくることです。

以下に、イメージ図を載せます　↓

世界中のWEBサイトはクモの巣のように、お互いリンクし合って存在します↓

クローラーロボットは、その世界中に張り巡らされたリンクを飛び回って、それぞれのWEBサイトの情報をかき集めてきます。

その動きは、クモのように例えられ、Spider(スパイダー）とも言われたりする。

このように、這い回って色んなウェブサイトの情報を集める仕事をCrawl(クロール：『這う』という意味）と呼ぶようになりました。

そして、そのロボット自体を『クロールする者』という事でクローラー（Crawler)と呼ぶ。（結構動きが素早い）

実はクローラーが1回来ただけでは正確な情報を持って帰ってもらえない

実は、クローラーロボットは、そこまで優秀じゃないので、一回巡回しただけでは、ページ情報の一部しか収集することができないらしいんです。

だから、ページの情報を正しく読み取ってもらい、正しい情報を持ち帰ってもらうためには、何度も何度もクローラーに回ってきてもらう必要があります。

参考までに、このブログサイト『ブログマーケッターJUNICHI』には、現在毎日で平均1,358回/日クローラーが巡回しています。

だいたいの目安として、クローラーが毎日平均６０~８０回巡回するようになると、SEO効果が現れてくると言われています。

クローラーはどこから来るの？

クローラーは、WEBページ上の「リンク」をたどってやってきます。

なので、公開したばかりのWebサイトは、どのWebサイトからもリンクが貼られていない状態、Googleにも情報がいきわたっていない状態なので、クローラーが来ません。

クローラーは、さっき書いたみたいに、リンクからリンクにどんどん移動します。

そんで、ウェブページの情報を集めて、Googleのサーバー（データを貯めておくコンピュータ）に蓄積していきます。

クロールのプロセス

クローラーは、

• 過去にクロールした時にゲットしたWebページのリスト
• Webサイトの所有者から提供された「サイトマップ」に含まれる情報

をもとに巡回を始めます。

だから、1度も巡回した事の無いWebサイトや、サイトマップを提供していないサイトには、クローラーが来てくれないんです。

クローラーが重点的に確認すること

クローラーは、一度訪れたことがあるサイト、サイトマップが提供されているサイトを訪れて、そこから他のページへのリンクを探します。

その中でも重点的に確認するのが

• 新しいサイトの情報
• 今あるWEBサイトの変更点
• 無効なリンク

です。

• どのサイトをクロールするか？
• どのくらいの頻度で
• どのくらいのページの情報を収集するか

は、Googleのコンピュータのプログラムが自動的に決めています。

クロールの頻度を上げることが大事

クロールを沢山してもらった方が、より正確な情報、より最新の情報を持って帰ってもらえます。

その結果、質の高い記事・コンテンツが正確に評価されて、検索結果の上位をねらいやすくなると言われています。

だから、頻繁にクローラーに呼び込む事は、WEBサイトを運営する人にとっては、大きな目標の一つだと思った方がいいです。

ちなみに、クロールの頻度を上げるために、Googleにお金を払うっていう仕組はありません。

Googleはあくまでも、検索ユーザーに最適な検索結果を提供することが目標だからです。

インデックスとは？

インデックスとは、検索エンジンに記録されたWEBサイトの情報という意味。

英語では「索引（さくいん）」とか「見出し」と訳します。

クローラー（手下）の仕事は、世界中のWEBサイトの情報を集めて持って帰ってくること。

検索エンジン（ボス）の仕事は、集められた情報を「記録する」事です。

↑　クローラーロボットが持ち帰った情報を、インデックスに整理整頓して登録をするイメージ。あくまでもイメージ。

このように、ロボットが持ち帰った情報を、インデックスに登録されるされることを「インデックスされる」とも言います。

インデックスには、クローラーロボットが持ち帰った情報が綺麗に整理されて記録されています。

インデックスに登録されたデータとは、どのWEBサイトがどんな情報を持っていて、どんな話題を扱っているのか、というデータです。

これが実際に、検索ユーザーがGoogle検索を使う時に使われるデータになります。

検索エンジンは『インデックス』のデータを参考にしている

検索エンジンは、検索に使われたキーワードと関係するWEBサイトをインデックスから見つけて、最適な検索結果を表示します。

そのため、検索結果に表示される対象となるWEBサイトは、常にこのインデックスに記録されたWEBサイトだけ。

めっちゃ大事な事なのでもう一回言います。

検索結果に表示されるのは、GoogleにインデックスされたWebページだけ！

なんです。

もし仮にあなたのWEBサイトがインデックスに登録されていない状態だと、どんなキーワードで検索してもヒットしません。

あなたのサイトがインデックスされているかどうか調べる方法

となると、あなたは自分のサイトがインデックスされているかどうか、不安になるかもしれないですね。

実は、ちゃんと自分のサイトがインデックスされているかどうか、調べる方法があります。

Googleの検索窓に「site:あなたのサイトのドメイン」と入力してみてください。

例えば、僕のブログであれば「site:junichi-manga.com」だ。（※http://は必要ない。）

しっかりとインデックスされていれば、↓の画像のようにあなたのサイトが表示されます。

これが表示されていなかったら、インデックスされていない、という事。

つまりどんなキーワードで検索をしても、あなたのサイトは表示されない。

もしもインデックスされていない場合の対処法

Googleの巡回ロボット（クローラー）にあなたのサイトに来てもらう必要があります。

そのために2通りの方法を紹介します。

※どちらも、「Search Console（旧Googleウェブマスターツール）」への無料登録が必要になる。

Search Console（旧　Googleウェブマスターツール）の登録方法

動画で解説しているので参考にしてみてください。

１）GoogleにURLを追加する

⇒https://www.google.com/webmasters/tools/submit-url

GoogleウェブマスターツールのURL登録フォームに、あなたのWEBサイトのトップページのURLを入力して送信する。

• 手順①あなたのサイトのURLを入力
• 手順②画面に見えているちょっと読みづらい文字（テキスト）を入力
• 手順③「リクエストを送信」をクリック

これでうまくリクエストが送信できると、例のクローラーロボットがあなたのサイトにやってくる。

２）GoogleにXMLサイトマップを送信する

XMLサイトマップとは、あなたのWEBサイトの設計図の事。

XMLサイトマップをGoogleに送信して登録することで、検索エンジンにWEBサイトの構成を把握してもらう事が出来ます。

そして、クローラーロボットも巡回するようになり、インデックスに記録されることになります。

Search ConsoleでXMLサイトマップを送信する方法

手順１：WordPressを使っている場合、プラグインの「Google XML Sitemaps」をインストールして有効化しておく。

手順２：Search Consoleの「ダッシュボード」から赤枠の「サイトマップ」をクリック

③右上の「サイトマップの追加/テスト」をクリック

④「sitemap.xml」と入力し、「サイトマップを送信」をクリック

これで正常にサイトマップが送信できればOK！

インデックスされた件数が多ければ多いほどSEO効果も高いという話もあるが？

インデックスされる件数が多ければ多いほど、SEO効果が高くなるという話も聞くが、ただ単に多ければ多いほどという簡単な話ではありません。

インデックスが少なくても、コンテンツがしっかりとしていれば、検索順位も上がります。

参考までに、僕のサイトのインデックス数だ。現在約1400インデックスされています。

検索順位のつけ方

Googleはどうやって、検索ユーザーが本当に求めているページがどれか判断しているのでしょうか。

実は、Googleでは、200以上の「問い」を立てて、そこから判断しているんです。

200以上の問いの例

• キーワードがそのページに何回含まれているか
• そのキーワードはタイトルに現れているか？それともURLか？
• キーワード同士隣接して現れるか
• キーワードの類義語が含まれているか
• そのページを所有するウェブサイトの品質は高いか、低いか、スパムか

など。

最終的に、これら200以上の要因を組み合わせて、各ページの総合得点を算出して、検索結果としてユーザーに提供する。

その問いは、驚くことにわずか0.5秒と言われています。

検索の仕組みは日々進化している

検索っていうのは、検索ユーザーが求めている情報を適切に提供する事です。

だけど、人によって、検索するキーワードによって求めている情報は違うかもしれません。

以下に、Googleのサイトからの引用をのせておきます。

「犬」を検索する場合、必要なのは「犬」という単語が何百回も出現するページではありません。

おそらく求められているのは、写真や動画、または犬の種類の一覧表などでしょう。

そう、結局は検索ユーザーが「おそらく求めている」情報を提供することしかできません。

1000人の検索ユーザーを全員100％満足させる検索結果を表示することってかなり難しいと思います。

でも、Googleはそこを目指しているんですよね。

Googleのインデックスのシステムは、そのWebページが公開された時期や、写真や動画の有無、などなど、本当に色んな特性に着目しています。

さらに、ナレッジグラフと呼ばれるシステムまで登場しています。

これは凄いので是非一回見てみて下さい。

まとめ

クロールされない、インデックスされない恐怖。

それは、Google検索、Yahoo検索の結果に出てこないっていう事です。

検索ユーザーは、全てのWEBサイトを検索しているんじゃありません。

Googleが見つける事ができたWebサイトの中から検索しています。

Googleに、あなたのWebサイトを見つけてもらうためには、クローラーというロボットプログラムに情報を収集してもらわないといけません。（クロール）

クロールして収集された数十億ものウェブの情報が、Googleの何千もあるマシンに保存されます。（インデックス）

検索ユーザーが、あるキーワードで検索したとき、Googleは200以上の問いを要因として総合得点の高いページを、検索結果でより上位に表示させます。

これが検索の基本の仕組みです。

実際に、このお話をめちゃくちゃ分かりやすく、Googleのマット・カッツ氏が話している映像を紹介して終わりです。

今回の記事が、あなたの今後のブログ運営、サイト運営に参考になれば嬉しいです。

参考サイト：クロールとインデックス（Google公式サイト）