SEOのこと意識してサイト運営していこうかな、というときに必ず通る道。
それが「クローラー」のお話です。
こんな相談を頂くことがあります。
「Google検索の結果にうちのホームページが出てこないんだよ…」
ご相談頂いた方のサイトを調査してみると、そもそもサイトにクローラーがほとんど来ていなくて、WEBページがインデックスされていない。ということが良くあります。
このような状態のまま、ブログを書き続けたり、サイトデザインの改善をする。ということをやっても、検索される機会はなかなか増えないでしょう。
クローラーを知ることは、SEOの基本概念を知ることにもなります。あなたのサイトにとっても、クローラーは大変重要です。
しっかりと理解することで、あなたのサイトは「今」どのような状態なのか？を知ることができます。
あなたのサイトにはクローラーが来てますか？
クローラーとは？
膨大に増え続けるWEBサイトを巡回し、情報集めををするロボットのことをクローラーと呼びます。這う（クロールする）ということからこう呼ばれるようになりました。
WWW（ワールドワイドウェブ）上を這い回るようなイメージから、スパイダーとも呼ばれています。
Googleのクローラー
クローラーの中で最も重要なのが、Google検索のクローラーである「Googlebot」です。
Google以外にもクローラーにはたくさん種類がありますが、現在巡回率No1なのがGoogleのクローラーです。
Yahoo！の検索エンジンも2011年から「Googlebot」を採用しています。
日本でWEB集客を行う際、一番意識すべきは「Googlebot」であることは、間違いないでしょう。
クローラーはどんな情報を集めているのか
Googleなど検索エンジンのクローラーが収集する情報は、
- HTML文書（テキスト）
- PDF（テキストデータがPDFに保存してあれば、内容も収集）
- 画像
- CSSファイル
- JavaScript
- Flash
などです。
クローラーによって収集された情報がインデックス（記事リンク）されることで、膨大な情報量の検索データベースが構築されていきます。
１ページ内に大量を画像データを使用してしまうと、クローラーがそこで、離脱することもあります。画像を沢山使う場合は、圧縮する等すると良いでしょう。
クローラーがサイトに訪れる頻度
Googleは、Googlebotがどのくらいの頻度でサイトを巡回し、情報を集めているのか？ということを公表していません。
しかし、わたし達はGooglebotのクロール頻度を知ることはできなくても、
「Googleさん、うちのサイト見に来てね」とお願いすることはできるのです。
のヘルプより
クロール頻度とは、Googlebot がサイトのクロール時に行う 1 秒間あたりのリクエスト数のことであり、たとえば 1 秒間あたり 5 リクエストとなります。
Google がサイトをクロールする頻度をユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールして欲しい場合は、Fetch as Google を使用できます。
また、自分のサイトにしっかりとクローラーが来ているかどうかはGoogleサーチコンソールで確認することができます。
[su_row][su_column size=”1/2″ center=”no” class=””]Google Search Console
クロール ＞ クロールの統計情報
1日あたりのクロールされたページ数などの情報を見ることができる。[/su_column] [su_column size=”1/2″ center=”no” class=””]
ページ数が少なく、ほとんど更新していないサイトの場合
ページ数が少なく、ほとんど更新もされていないサイトだと、９０日間で平均して１４ページしかクロールされていませんね。
ページ数が多く、週2回ほど更新があるサイトの場合
この場合、クロールされる日にバラつきがありますが、過去９０日間の平均は106ページです。
このように、1日に多くのページをGoogleクローラーが見に来ているということは、以下のような理由があげられます。
- 有益なサイト・コンテンツとして認められている。
- クローラーが巡回しやすいサイト構成になっている。
- サイトの更新頻度が高いという事をGoogleが認識している。
クローラーの巡回数が多い。ということは良いことしかありません。
Google「質の低いコンテンツは巡回しないよ。頼むよ」
GoogleはSearchConsoleのヘルプで、クローラーの頻度に対してこのように明示しています。
サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。
新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。
あなたの運営するサイトが、なかなか検索結果に表示されなかったり、クロール数が少ない。といった場合は、一度コンテンツの内容を見直す必要があるでしょう。
多くの人に見られていない、どころかGoogleにもそっぽを向かれてしまっては、サイトを運営している理由がありません。
自分のサイトをクローリングしてもらうことが重要
WEB集客をする際にとても大切なことが、サイトをクローリングしてもらうことです。何度もしつこいようですが、それだけ重要なことなのです。このことは、サイト運営者ももちろんですが、サイト制作者も意識しなければなりません。
理由は下記の２つです。
１．クローラーに見つけてもらって初めて、検索エンジンの結果に表示される
検索に表示されなければ、サイトを検索で見つけてもらうことは一生ありません。
そうならないためにも、クローラーによってサイトを見つけてもらうことが超重要事項なのです。
WEBサイトの集客の鍵はクローラーが握っている。といっても過言ではないでしょう。
２．サイト内でアップデートした情報は、クローラーに巡回されることで、正しく認識される
WEBサイトの情報の更新・記事のリライトを正しい方法で行うと、Googleからの評価があがります。
しかし、評価をしてもらう為には、クローラーに再度、巡回してもらうことが必須条件です。
わたし達サイト制作者・運営者はクローラーが巡回しやすい情報設計になっているか。ということを考慮する必要があります。
クローラビリティ
クローラーは増え続けるWEBサイトの情報を収集し続けています。しかし、公開したばかりのWEBサイトやブログ記事をすぐに見つけてもらえるわけではありません。
SEOのことを考慮すると、クローラーがWEBサイト内を効率よく巡回できるための工夫が必要です。
こういった検索エンジンクローラーのWEBサイトの巡回しやすさ、のことを総称して「クローラビリティ」と呼び、特にコンテンツ量が多くなればなるほどクローラビリティの改善は必要となります。
検索結果に表示させたくないコンテンツの制御をrobot.txtなどを用いて制御したりすることも「クローラビリティ」と言えるでしょう。
まとめ
- 作ったホームページや、ブログなどを、検索結果に表示させるには、検索エンジンにクロールしてもらう必要があります。
- クロールされているのに、設定したキーワードで検索結果に表示されていない。という場合は、コンテンツを見直す必要アリ。
- クローラーにもおもてなしの心をもって、クローラビリティを高めてあげるようにすること。
わたし達は、サイトを制作する際に、閲覧者のことはもちろん、クローラーのことも意識して制作に臨んでいます。
正しい文書構造に適したHTMLを使って制作すること。閲覧者からはどこに何があるかわかりやすく、クローラーからは巡回されやすいディレクトリ構造を組み立てることで、より早く結果を出すことにこだわったサイト制作です。