Для чего служит robots.txt?

Этот файл ограничивает доступ роботов поисковых систем к административной части интерфейса, служебной информации, дублирующему контенту, которые необходимо скрыть от индексации. С одной стороны, это поможет поисковику индексировать Ваш сайт, а с другой – не попасть под фильтры ПС, применение которых может негативно сказаться на потоке посетителей.

Когда специалист принимается за продвижение Вашего сайта, он в обязательном порядке анализирует и при необходимости редактирует данный файл.

Как же это работает?

Итак, разберемся, в чем заключается принцип работы Robots Exclusion Protocol. Поисковая машина проверяет существование текстового файла robots.txt по адресу http://www.sait.xx/ robots.txt, как только попадает на Ваш сайт. Файл должен быть помещен в корневую директорию Вашего веб-сайта. Обнаружив этот файл, поисковый робот начинает последовательно и построчно выполнять его чтение и изучение. Если все инструкции прописаны корректно, он приступает к их исполнению.

Примеры правильных инструкций в robots.txt

Выделяют много команд-инструкций. Мы предлагаем рассмотреть наиболее используемые. Если Вам нужно запретить индексацию некоторых страниц веб-сайта для всех поисковиков, инструкция должна будет выглядеть так:

User-agent:*

Disallow: /

Чтобы запрет индексации касался только Yandex, необходимо прописать команду так:

User-agent: StackYandex

Disallow: /

В случае если Вам нужно запретить индексацию конкретного раздела сайта, вместо «/» пропишите «/ имя_раздела». Если речь идет о конкретной странице, то укажите полный путь к ней, к примеру, « / категория / раздел / страница.html».

Неполная или неточная инструкция в robots.txt может существенно снизить эффективность работы с веб-сайтом.