Роботы поисковых систем - это одна из основных частей поисковой машины, осуществляет считывание содержимого сайтов и далее переходит по ссылкам, найденных на сканируемой странице. Робот приходит снова и снова через определенный период времени и индексирует страницы заново, с целью выявления обновлений. Собранная информация хранится роботом в индексе поисковой системы.
