Поисковые роботы

Поисковые роботы - это обученные программы, которые являются частью программного обеспечения поисковой системы. Поисковые роботы индексируют страницы сайтов, сохраняют страницы и вносят в индекс поисковой машины.