Приветствую всех читателей блога!
Сегодня я расскажу, как за дубли страниц на wordpress блоге, часто попадают по АГС или БАН, начинающие владельцы сайтов, выбравшие эту sms для своего блога. В этом посте, Вы узнаете, как убрать дубли страниц с помощью файла robots.txt из индекса Яндекс и Google.
Но сначала я кратко расскажу о том, почему появляются дубли страниц на сайте, а затем, как решить эту проблему. Если предисловие читать не хотите, то можете сразу перейти ко второй части статьи.
Что такое дубли страниц на сайте
Самый распространённый движок wordpress, выбирают большинство пользователей для своих сайтов за его простоту, надёжность и богатый внутренний функционал. Но вместе с этой простотой, на wordpress, есть несколько недостатков, которые «недостатками» являются только для начинающих пользователей, до конца не изучивших все возможности и недостатки этой платформы.
Поэтому для всех, кто не знает, поясняю, что wordpress имеет технические свойства генерировать много дубликатов одних и тех же статей, каждая из которых, находится в категориях, метках, архивах по месяцам и по авторам. Дублируются ещё и странички из поисковой формы блога и пагинации, новостной ленты новостей RSS и дубли страниц комментариев.
- То есть если в действительности, у Вас на сайте, написано только 100 статей, то в реальности проиндексированных статей, будет в 3-5 раз больше. Как я уже сказал в предыдущем абзаце, каждая статья будет продублирована в тэге и архиве.
- Раньше, когда во всю процветал бизнес на продаже ссылок с сайта, то для получения максимальной прибыли, у сайта должно быть, как можно больше страниц. Поэтому wordpress, был идеальной платформой для создания многостраничных сайтов. Но со временем, поисковые алгоритмы научились распознавать этот обман и стали бороться с такими сайтами, накладывая на них АГС или БАН (последнее наказание, чаще).
Ничего не подозревающие пользователи, создавали сайт на этом движке, начинали наполнять его контентом и через некоторое, время обнаруживали, что их интернет ресурс, наказан и в поиске, осталось от 1 до 9 страниц.
Появление дубликатов страниц, поисковые алгоритмы расценили, как сайт, создающийся для торговли ссылками. Хотя, при этом, он ни в каких ссылочных биржах участвовал, то есть не продавал и не покупал ссылки с сайта и на сайт.
Как убрать дубли страниц
Совет 1
На самом деле ответ на вопрос, как убрать дубли страниц, простой. Для этого в файле robots.txt, нужно запретить индексацию того, чего не нужно «скармливать» в индекс ПС (смотрите список ниже). Вот и всё!
Как составить файл robots.txt я рассказывал в статье, ссылку на которую только что указал. Там же, Вы узнаете, что обозначает каждая строчка, и что мы запрещаем к индексации.
Типы дублей страниц:
- replytocom
- feed
- tag
- page
- comment-page
- attachment
- attachment_id
- category
- trackback
Из всего этого количества, можно не закрывать для индексации категории.
Совет 2
Обязательно нужно настроить редирект с www.nuzhnaya-infa.ru на nuzhnaya-infa.ru и наоборот. Прямо сейчас, можете это проверить следующим образом. В строке браузера, наберите адрес сайта с www перед названием домена, то есть www.nuzhnaya-infa.ru (только используйте Ваш домен).
Если всё нормально, то домен будет без www. Если у сайта доменов много, то с них делайте редирект на главное зеркало сайта.
Совет 3
Если установлен плагин All in One Seo Pack, а он должен быть обязательно установлен, то в настройках, обязательно поставьте галочки в чекбоксе «Канонические URL’ы».
Совет 4
Если заметили, что в индексе Google у Вас проиндексировано больше страниц, чем есть на самом деле, то нужно сделать следующее. Заходите в админ панели на вкладку «Параметры», «Обсуждение» и здесь обязательно (настоятельно рекомендую) снимите галочку напротив пункта «Разбивать комментарии верхнего уровня на страницы».
Если этого не сделать, то у каждого комментария, будет отдельная страница дубль со своим url адресом (replytocom), которая появляется, при нажатии на кнопку формы комментирования «Ответить», когда включены древовидные комментарии, которые нужно так же отключить. Иначе, сколько будет комментариев у отдельно взятой статьи, столько же и её дублей.
Проверить в Google дубли страниц с комментариями, можно введя url адрес своего блога, с приставкой site: перед доменом и replytocom после него. На скриншоте ниже, Вы можете видеть результат проверки моего блога. Как видите, всё в порядке.
Это нужно сделать даже в том случае, если стоит запрет в файле robots.txt. Дело в том, что ПС Google, всё равно проиндексирует то, что запрещено к индексации. Из за этого, многие блоги, попадают под всем известный фильтр Панда (об этом, читайте в фильтры ПС Google).
Надеюсь, что после прочтения этой статьи, Вы знаете, как удалить дубли страниц. А после того, как примените все полученные знания на своём блоге, то если сделали всё так как нужно, то после индексации, кол-во страниц в индексе Google, должно уменьшится.
И ещё раз напоминаю, что в wordpress дубли страниц, появляются из за технических особенностей этого движка и появляются только в Google, решить которые я рассказал в Способах 2, 3 и 4.