Управление индексацией - это возможность владельца веб-сайта воздействовать на поисковые системы специальным файлом robots.txt, который располагается в корневом каталоге веб-сайта. Этот файл направляет поисковый робот, на те файлы сайта, которые надо индексировать.
