Как сделать правильный файл robots.txt

Приветствую всех читателей моего блога!

Сегодня я расскажу про файл robots.txt. Вы узнаете, что это такое, зачем он нужен и как настроить. Поэтому, если Вам нужен правильный robots. txt, то в этой статье, Вы получите всю исчерпывающую информацию об этом самом важном файле.

А, в статье, как установить файл robots.txt на wordpress, Вы можете посмотреть видео урок, как загрузить этот файл в корень сайта, а под проигрывателем с видеороликом, сможете скачать этот файл.

Файл robots.txt нужен для того, чтобы сообщать роботам поисковых систем о том, какие файлы нужно индексировать, а какие нет. А если его не будет или составить его неправильно, то обязательно появятся проблемы с индексированием сайта и будет очень высокий риск, попасть под фильтры ПС, особенно это касается sms wordpress, так как из за технических особенностей этого движка, появятся дубли страниц, из за которых, велик риск попадания по санкции ПС.

Файл robots.txt для wordpress

Сейчас я расскажу, как составить правильный robots.txt для wordpress, вернее покажу скриншот примера этого файла и прокомментирую каждую строчку, на предмет её роли в этом важном документе.

Пример:

А сейчас я расскажу про все основные директивы файла robots, которых 3. Вот они: User-agent, Allow, Disallow.

Как составить правильный robots.txt

User-agent:  — директива, в которой нужно указать название поискового робота.  Если после неё добавить название поискового бота Яндекса, вот так: User-agent: Yandex, то ниже в столбик, идут правила, только для ботов Яндекса.

Если после этой директивы, добавить звёздочку, вот так: User-agent *, то  разрешается индексация сайта для всех ботов ПС, в частности Google. И ниже,  в столбик, идут правила, только для ботов ПС Google и других.

Disallow: — директива, запрета индексации. Все, что идёт после названия директивы через / (слэш) запрещено к индексации.

Allow: — директива, разрешающая индексацию (всё, что идёт после неё).

host — директива, которую читают только боты ПС Яндекс, в которой нужно прописать адрес главного зеркала сайта (с www или без www).

sitemap — директива, указывающая путь к карте сайта. Благодаря ей, боты будут быстрее индексировать страницы сайта.

Вот вроде бы и всё, что я хотел пояснить про значения самых главных директив: User-agent, Allow, Disallow. А правила составления для каждой директивы таковы: Названия директивы: пробел /(слеш) значение.

Кстати, проверить роботс любого сайта, можно добавив к адресу домена, название этого файла, ввести этот адрес в браузере и нажать на Enter. Пример: http://nuzhnaya-infa.ru/robots.txt

Думаю теперь можно заканчивать статью, так как всё, что я хотел рассказать о том, как правильно настроить robots.txt уже написал. И напоминаю, что в начале статьи, я дал ссылку на страницу, где Вы сможете скачать этот файл и посмотреть видео урок, о том, как загрузить его в корень Вашего сайта.