Файл Robots.txt


Поисковые системы, такие как Яндекс и Google, хранят и постоянно обновляют огромную базу данных, содержащую все проиндексированные сайты. С этой колоссальной задачей справляются поисковые роботы - специальные программы, имитирующие простой интернет-браузер. Они посещают сайты, считывают с них информацию и обновляют в базе своего поисковика. Именно по этой базе и происходит поиск, когда пользователь нажимает кнопку "Найти" на странице поисковой системы.
Robots.txt – важный для сайта файл, влияющий на качество индексации и поисковое продвижение. Он показывает поисковым роботам, какие страницы индексировать следует, а какие нет. Обычно поисковые системы индексируют весь сайт, но, например, на таких cms, как Joomla и Wordpress, присутствуют папки, которые организуют работу админ-панели. Индексировать их нельзя, а значит, нужно ограничить доступ для поисковиков. При этом файл Роботс важно правильно оформить, иначе можно запретить к индексированию важные файлы.
Так же в файле Robots.txt указывается главное зеркало сайта – с www в домене или без. Поисковые системы считают такие домены разными, и ссылочная масса делится между ними, что плохо для продвижения.
Для описания структуры сайта используется sitemaps.xml. Чтобы поисковый робот о ней узнал, путь к sitemaps указывается в Robots.
Грамотное составление файла Роботс – важная задача, которую лучше доверить вебмастеру. При оптимизации сайта и подготовке к продвижению мы обязательно проверяем его наличие и корректность составления.