Поисковый робот

Поисковый робот (паук) – специальная программа, частью поисковой системы, которая делает обход страниц Интернета, считывает их содержимое и заносит его в базу поисковой системы (индекс). Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой системы, которые зависят от обновляемости сайта, его авторитетности и других факторов.