クローラ

クローラー (Crawler）

WWWを自動的に巡回してWebページを収集するロボットのこと。スパイダーやサーチボットなどとも呼ばれる。収集したWebページは検索エンジンのインデックスに登録される。