「小さな会社にウェブマーケティングを」PICNICは小さな会社のWEB集客を徹底サポート致します

クローラーとは?あなたのサイトにもクローラー来てますか?【WEBマーケティング用語解説】

こんなご相談を頂きます。

「Google検索の結果にうちのホームページがなかなか出てこないんだよ…」

 

SEOのこと意識してサイトやメディアを運営していこう!というときに必ず通る道。

それが「クローラー」のお話です。

 

ご相談頂いた方のサイトを調査してみると、そもそもサイトにクローラーがほとんど来ていなくて、WEBページがインデックスされていない。ということが良くあります。

このような状態のまま、ブログを書き続けたり、サイトのデザインをリニューアルする。ということをやっても、検索される機会はなかなか増えないでしょう。

クローラーを知ることは、SEOの基本概念を知ることにもなります。あなたのサイトにとっても、クローラーは大変重要です。

しっかりと理解することで、あなたのサイトは「今」どのような状態なのか?を知ることができます。

あなたのサイトにクローラーは来ていますか?

 

クローラーとは?

膨大に増え続けるWEBサイトを巡回し、情報集めををするロボットのことをクローラーと呼びます。這う(クロールする)ということからこう呼ばれるようになりました。

WWW(ワールドワイドウェブ)上を這い回るようなイメージから、スパイダーとも呼ばれています。

WWWのスパイダーイメージ

Googleのクローラー

クローラーの中で最も重要なのが、Google検索のクローラーである「Googlebot」です。

Google以外にもクローラーにはたくさん種類がありますが、現在巡回率No1なのがGoogleのクローラーです。

Incapsula(インパーバ インカプスラ)のクロールレポート
世界的セキュリティ企業Imperva Incapsula(インパーバ インカプスラ)のクロールレポートより。

Yahoo!の検索エンジンも2011年から「Googlebot」を採用しています。

日本でWEB集客を行う際、一番意識すべきは「Googlebot」であることは、間違いないでしょう。

クローラーはどんな情報を集めているのか

Googleなど検索エンジンのクローラーが収集する情報は、

  • HTML文書(テキスト)
  • PDF(テキストデータがPDFに保存してあれば、内容も収集)
  • 画像
  • CSSファイル
  • JavaScript
  • Flash

などです。

クローラーによって収集された情報がインデックス(記事リンク)されることで、膨大な情報量の検索データベースが構築されていきます。

1ページ内に大量を画像データを使用してしまうと、クローラーがそこで、離脱することもあります。画像を沢山使う場合は、圧縮する等すると良いでしょう。

クローラーがサイトに訪れる頻度

Googleは、Googlebotがどのくらいの頻度でサイトを巡回し、情報を集めているのか?ということを公表していません。

しかし、わたし達はGooglebotのクロール頻度を知ることはできなくても、

「Googleさん、うちのサイト見に来てね」とお願いすることはできるのです。

このように、1日に多くのページをGoogleクローラーが見に来ているということは、以下のような理由があげられます。

  • 有益なサイト・コンテンツとして認められている。
  • クローラーが巡回しやすいサイト構成になっている。
  • サイトの更新頻度が高いという事をGoogleが認識している。

クローラーの巡回数が多い。ということは良いことしかありません。

Google「質の低いコンテンツは巡回しないよ。頼むね」

GoogleはSearchConsoleのヘルプで、クローラーの頻度に対してこのように明示しています。

サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。

新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。

SearchConsoleヘルプ

あなたの運営するサイトが、なかなか検索結果に表示されなかったり、クロール数が少ない。といった場合は、一度コンテンツの内容を見直す必要があるでしょう。

多くの人に見られていない、どころかGoogleにもそっぽを向かれてしまっては、サイトを運営している理由がありません。

自分のサイトをクローリングしてもらうことが重要

WEB集客をする際にとても大切なことが、サイトをクローリングしてもらうことです。何度もしつこいようですが、それだけ重要なことなのです。このことは、サイト運営者ももちろんですが、サイト制作者も意識しなければなりません。

理由は下記の2つです。

1.クローラーに見つけてもらって初めて、検索エンジンの結果に表示される

検索に表示されなければ、サイトを検索で見つけてもらうことは一生ありません。

そうならないためにも、クローラーによってサイトを見つけてもらうことが超重要事項なのです。

WEBサイトの集客の鍵はクローラーが握っている。といっても過言ではないでしょう。

2.サイト内でアップデートした情報は、クローラーに巡回されることで、正しく認識される

WEBサイトの情報の更新・記事のリライトを正しい方法で行うと、Googleからの評価があがります。

しかし、評価をしてもらう為には、クローラーに再度、巡回してもらうことが必須条件です。

わたし達サイト制作者・運営者はクローラーが巡回しやすい情報設計になっているか。ということを考慮する必要があります。

クローラビリティ

クローラーは増え続けるWEBサイトの情報を収集し続けています。しかし、公開したばかりのWEBサイトやブログ記事をすぐに見つけてもらえるわけではありません。

SEOのことを考慮すると、クローラーがWEBサイト内を効率よく巡回できるための工夫が必要です。

こういった検索エンジンクローラーのWEBサイトの巡回しやすさ、のことを総称して「クローラビリティ」と呼び、特にコンテンツ量が多くなればなるほどクローラビリティの改善は必要となります。

検索結果に表示させたくないコンテンツの制御をrobot.txtなどを用いて制御したりすることも「クローラビリティ」と言えるでしょう。

まとめ

  1. 作ったホームページや、ブログなどを、検索結果に表示させるには、検索エンジンにクロールしてもらう必要があります。
  2. クロールされているのに、設定したキーワードで検索結果に表示されていない。という場合は、コンテンツを見直す必要アリ。
  3. クローラーにもおもてなしの心をもって、クローラビリティを高めてあげるようにすること。

 

わたし達は、サイトを制作する際に、閲覧者のことはもちろん、クローラーのことも意識して制作に臨んでいます。

閲覧者を意識した制作とは、どこに何があるかわかりやすく、ストレス無くそのサイトを利用できること。

クローラーを意識した制作とは、正しい文書構造に適したHTMLを使い、巡回されやすいディレクトリ構造を組み立てることで、より早く結果を出すことにこだわります。

WordPressをご利用の方がインデックスを早めるにはどうすれば良いのか?はこちらの記事をご覧ください。

Wordpressでインデックスを早める6つの方法

こんにちは。小さな会社のWEBマーケティングを応援するメディア、PICNICの田村です。ここでは、Googleインデックスを早める6つの方法をご紹介しています。WordPressプラグインを利用する方法も含まれているので、WordP[…]

令和版Googleインデックスを早める6つの方法

 

 

クローラーとは?
SNSでもWEB集客に必要な情報を更新中!

WEBマーケティング用語集の最新記事4件

>小規模事業者にマーケティングを

小規模事業者にマーケティングを

PICNICは、「小さな会社様向けのコンテンツマーケティング」を行います。

ブログ集客に必要なメディア戦略から制作まで行い、運用をスタートしたら、集客ノウハウと改善施策を提供していきます。

ブログ集客で成果を最大化させるためになによりも重要なことは、ユーザーへ届ける価値を追求すること。しかし、検索エンジンに関する正しい知識がなければせっかくの努力も報われません。

PICNICはコンテンツマーケティングを成功させるために必須な、コンテンツ作成のノウハウ、快適な動作を実現するWebサーバー、改善に必要な定期レポートの連携サポートをセットでご提供します。

導入頂ければ「ユーザーに届ける真の価値」の追求のみに注力できます。

一過性の広告に頼らず、安定した集客と売上げをコンツマーケティングで実現しましょう。

CTR IMG