こんなご相談を頂きます。
「Google検索の結果にうちのホームページがなかなか出てこないんだよ…」
SEOのこと意識してホームページやブログ・メディアを運営していこう！というときに必ず通る道。それが「クローラー」のお話です。
ご相談頂いた方のサイトを調査してみると、そもそもサイトにクローラーがほとんど来ていなくて、WEBページがインデックスされていない・・・なんてことが良くあります。このような状態のまま、ブログを書き続けたり、サイトのデザインをリニューアルする。ということをやっても、検索される機会はなかなか増えないでしょう。
クローラーを知ることは、SEOの基本概念を知ることにもなります。あなたのサイトにとっても、クローラーのことを理解することはとても有益なこと。しっかりと理解することで、あなたのサイトは「今」どのような状態なのか？を知ることができます。
あなたのサイトにクローラーは来ていますか？
クローラーとは？
膨大に増え続けるWEBサイトを巡回し、情報集めををするロボットのことをクローラーと呼びます。這う（クロールする）ということからこう呼ばれるようになりました。WWW（ワールドワイドウェブ）上を這い回るようなイメージから、スパイダーとも呼ばれています。
Googleのクローラー
クローラーの中で最も重要なのが、Google検索のクローラーである「Googlebot」です。Google以外にもクローラーにはたくさん種類がありますが、現在巡回率No1なのがGooglebotとなります。
世界的セキュリティ企業Imperva Incapsula（インパーバ インカプスラ）のクロールレポートより。
Yahoo！の検索エンジンも2011年から「Googlebot」を採用しています。日本でWEB集客を行う際、一番意識すべきは「Googlebot」であることは、間違いないでしょう。
クローラーはどんな情報を集めているのか
Googleなど検索エンジンのクローラーが収集する情報は、
- HTML文書（テキスト）
- PDF（テキストデータがPDFに保存してあれば、内容も収集）
- 画像
- CSSファイル
- JavaScript
- Flash
などです。
クローラーによって収集された情報がインデックス（記事リンク）されることで、膨大な情報量の検索データベースが構築されていきます。
１ページ内に大量を画像データを使用してしまうと、クローラーがそこで、離脱することもあります。画像を沢山使う場合は、圧縮して極力容量を軽くすることを心がけましょう。
クローラーがサイトに訪れる頻度
Googleは、Googlebotがどのくらいの頻度でサイトを巡回し、情報を集めているのか？ということを公表していません。Googlebotのクロール頻度を知ることはできなくても、「Googleさん、うちのサイト見に来てね」とお願いすることはできます。
のヘルプより
クロール頻度とは、Googlebot がサイトのクロール時に行う 1 秒間あたりのリクエスト数のことであり、たとえば 1 秒間あたり 5 リクエストとなります。
Google がサイトをクロールする頻度をユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールして欲しい場合は、Fetch as Google を使用できます。
また、自分のサイトにしっかりとクローラーが来ているかどうかはGoogleサーチコンソールで確認することができます。
Google Search Console
※新しいサーチコンソールが表示されてしまった場合–以下2019年8月5日追記–
新しいサーチコンソールが開いた場合、[以前のバージョンに戻す]をクリックすれば、旧サーチコンソールの画面に移ります。以前のバージョンに戻しても、すぐに新しいサーチコンソールに戻ることができるので、安心してください。
サーチコンソールを以前のバージョンに戻す方法
それでは、クローラーがサイトに訪れる頻度を知る為に、クロールの統計情報を見ていきましょう。
1日あたりのクロールされたページ数などの情報を見ることができツールです。2018年にリリースされた新しいサーチコンソールでは、この項目は確認できません。確認する際は、こちらのサーチコンソールヘルプから確認可能です。
参考サイト：
https://support.google.com/webmasters/answer/35253?hl=ja
ページ数が少なく、ほとんど更新していないサイトの場合
ページ数が少なく、ほとんど更新もされていないサイトだと、９０日間で平均して１４ページしかクロールされていませんね。
ページ数が多く、週2回ほど更新があるサイトの場合
この場合、クロールされる日にバラつきがありますが、過去９０日間の平均は106ページです。
このように、1日に多くのページをGoogleクローラーが見に来ているということは、以下のような理由があげられます。
- 有益なサイト・コンテンツとして認められている。
- クローラーが巡回しやすいサイト構成になっている。
- サイトの更新頻度が高いという事をGoogleが認識している。
クローラーの巡回数が多い。ということは良いことしかありません。
Google「質の低いコンテンツは巡回しないよ。頼むね」
GoogleはSearchConsoleのヘルプで、クローラーの頻度に対してこのように明示しています。
サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。
新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。
あなたの運営するサイトが、なかなか検索結果に表示されなかったり、クロール数が少ない。といった場合は、一度コンテンツの内容を見直す必要があるでしょう。
多くの人に見られていない、どころかGoogleにもそっぽを向かれてしまっては、サイトを運営している理由がありません。
自分のサイトをクローリングしてもらうことが重要
WEB集客をする際にとても大切なことが、サイトをクローリングしてもらうことです。何度もしつこいようですが、それだけ重要なことなのです。このことは、サイト運営者ももちろんですが、サイト制作者も意識しなければなりません。
理由は下記の２つです。
１．クローラーに見つけてもらって初めて、検索エンジンの結果に表示される
検索に表示されなければ、サイトを検索で見つけてもらうことは一生ありません。
そうならないためにも、クローラーによってサイトを見つけてもらうことが超重要事項なのです。
WEBサイトの集客の鍵はクローラーが握っている。といっても過言ではないでしょう。
２．サイト内でアップデートした情報は、クローラーに巡回されることで、正しく認識される
WEBサイトの情報の更新・記事のリライトを正しい方法で行うと、Googleからの評価があがります。
しかし、評価をしてもらう為には、クローラーに再度、巡回してもらうことが必須条件です。
わたし達サイト制作者・運営者はクローラーが巡回しやすい情報設計になっているか。ということを考慮する必要があります。
クローラビリティ
クローラーは増え続けるWEBサイトの情報を収集し続けています。しかし、公開したばかりのWEBサイトやブログ記事をすぐに見つけてもらえるわけではありません。
SEOのことを考慮すると、クローラーがWEBサイト内を効率よく巡回できるための工夫が必要です。
こういった検索エンジンクローラーのWEBサイトの巡回しやすさ、のことを総称して「クローラビリティ」と呼び、特にコンテンツ量が多くなればなるほどクローラビリティの改善は必要となります。
検索結果に表示させたくないコンテンツの制御をrobot.txtなどを用いて制御したりすることも「クローラビリティ」と言えるでしょう。
まとめ
- 作ったホームページや、ブログなどを、検索結果に表示させるには、検索エンジンにクロールしてもらう必要があります。
- クロールされているのに、設定したキーワードで検索結果に表示されていない。という場合は、コンテンツを見直す必要アリ。
- クローラーにもおもてなしの心をもって、クローラビリティを高めてあげるようにすること。
わたし達は、サイトを制作する際に、閲覧者のことはもちろん、クローラーのことも意識して制作に臨んでいます。
閲覧者を意識した制作とは、どこに何があるかわかりやすく、ストレス無くそのサイトを利用できること。
クローラーを意識した制作とは、正しい文書構造に適したHTMLを使い、巡回されやすいディレクトリ構造を組み立てることで、より早く結果を出すことにこだわります。
WordPressをご利用の方がインデックスを早めるにはどうすれば良いのか？はこちらの記事をご覧ください。
投稿者プロフィール
- 株式会社コタム代表
-
WEB制作会社Co-Tam.Inc代表の田村巧次です。
創業当初から、金で買うSEOを良しとせず、その時々の Google ガイドラインに沿ったSEO（ホワイトハットSEO）のみをクライアント提案。 制作したWEBサイトは、一切ペナルティを受けず、９割以上がキーワード検索で1位を獲得。どれもすべて効果の高いキーワードを選定する。制作会社の枠にとどまらず、2011年より、企業の情報発信の重要さをクライアントに提示。
「SEOの知識を正しく活用できれば、必ず集客の力になってくれます。」
- 中小企業庁 中小企業デジタル応援隊事業 IT専門家（I00024525）
- WACA認定WEB解析士・上級ウェブ解析士
- SEOコンサルタント
- 米国Google認定 GAIQ（*1）（認定資格ID：28179066）
(*1) Google Analytics Individual Qualification - Google モバイルサイト認定（認定資格ID：36523368）
- Webクリエイター能力手認定試験エキスパート
- ネットマーケティング検定取得
WEB利用・技術認定委員会主催 - 国家資格：システムアドミニストレータ（現ITパスポート）
- デジタルハリウッドスクールphp TA/講師（2009~2012）
最新の投稿
コンテンツマーケティング2020.08.22なぜ7日間なの？ステップメール作成講座
コンテンツマーケティング2020.08.22ホワイトペーパーの作り方講座【初級編】
コンテンツマーケティング2020.04.22コンテンツマーケティングで「購入」してもらう為に必須な２つのこと。
コンテンツマーケティング2020.04.21コンテンツマーケティングにおける「検討」とは？
コメント