クローラー

クローラーとは、多くの場合、Googleなどのロボット型検索エンジンのプログラムを指します。

クローラーは自動でWeb上を巡回してさまざまなファイルの情報収集を行い、収集・解析した情報をデータベースに格納（インデックス化）して検索結果に反映します。

クローラーに認識されなければ、Webサイトは検索結果に表示されません。検索エンジンが適切な結果を表示できるように、クローラーは常に最新の情報を収集し続けています。