Очень распространенная проблема среди больших каталогов и интернет магазинов – категории и/или конечные страницы доступны по адресам со слешем на конце и без него. Так сложилось, что у нас на сайте url’ы страниц не имеют окончаний. Например, в меню сверху выбор города вел на url без слеша, а на главной странице и в форме поиска формировался url со слешем. И в итоге возникало у нас по две одинаковые страницы.

    Было решено бороться с дублями не с помощью 301 редиректа, как я всегда раньше делал, а используя метатег rel=canonical. Рискованный шаг, учитывая, что полной уверенности в успехе у меня не было, но был ряд причин пойти этим путем. О том, что это за мета-тег такой, как его использовать, как он работает и работает ли, я уже писал в посте — rel=“canonical” как эффективный способ борьбы с дублями. Ранее метод был экспериментально проверен, но ничто не заменит реальный опыт в боевых условиях. И вот теперь я с уверенностью могу сказать – да, действительно, rel=canonical работает и прекрасно справляется с дублями. Конечно, все внутренние ссылки на неканонические страницы поправили, чтобы вели на правильные адреса.

    Не отходя далеко от проблемы дублирования контента страниц, стоит сказать про различные параметры – это классика жанра. Когда параметры динамически формируются, то их последовательность в url может меняться, если параметров более одного, следовательно, одна и та же страница будет доступна по всем вариациям подстановок параметров в url. Вот и у нас было на сайте каждой страницы листинга по 2—3 дубля стабильно. Проблему решали так же с помощью rel=canonical.

    У меня часто спрашивают, а что делать со страницами пагинации (постраничная навигация по спискам и каталогам) – оставить в покое или закрыть от индексации? Универсального решения для всех сайтов нет и быть не может. Но на рассматриваемом сайте мы поставили на всех страницах тег rel=canonical с указанием на первую страницу. А чтобы поисковики не шастали по неканоническим страницам, ссылки на сами страницы сделали через AJAX, т.е. как таковых ссылок на странице теперь нет, а переключение происходит с помощью JavaScript. Сделано это потому, что страницы навигации одновременно разные и одновременно одинаковые (я уже говорил, что контент на них меняется примерно раз в час), так что достаточно и одной.

    Я вообще настоял на том, чтобы все ссылки на ненужные для поисковиков страницы скрыть от роботов, например, это ссылки сортировки результатов в таблице поиска. Робот будет ходить только по нужным страницам, а значит и индексировать сайт быстрее. Я уже однажды рассказывал вам про 5 способов скрыть любую ссылку от индексации, методы до сих пор работают, можете пользоваться.
URL карточек объектов в системе формируются динамически, берутся первые XX символов описания объекта, переводятся в транслит, а в конце просто подставляется ID. Так вот когда описание объекта менялось, например, менеджером, то возникал новый url для прежнего объекта. Таким образом, дублей теоретически может быть любое количество. Это было предотвращено путем отслеживания ID и 301 редиректа на правильный url в случае несоответствия запрашиваемого адреса.

    Помимо дублей самих карточек объектов, было много дублей title, что тоже не есть хорошо. Хоть и разные объекты, но они бывают расположены по одному адресу, в результате чего случался дубль. Я применил совершенно стандартное, как мне кажется, решение – добавлять в конец title номер (ID) объекта. Это решение я часто рекомендую клиентам с большими каталогами и интернет магазинами.
Отдельная история была с мобильной версией, расположенной на поддомене m.selims.ru. На мобильной версии тоже был каталог объектов и дублировался с основным сайтом. Так как мобильную версию нельзя удалить или редиректить, я решил не изобретать велосипед и поставить везде rel=”canonical” на соответствующие страницы основного сайта. Но я совсем забыл о том, что кроссдоменно (т.е. с одного домена на другой) каноникал не работает и не склеит страницы. Вспомнил я об этом, когда мобильная версия даже после переиндексации продолжала находиться в индексе. Пришлось закрыть весь поддомен от индексации мета тегом robots.

    На блоге я уже писал о том, почему стоит использовать именно мета тег, а не robots.txt.
Вообще на сайте было проделано невероятно много технической работы, исправлено несчетное количество ошибок и багов. Так же не забываем, что это совершенно нормальная ситуация, когда программист, исправляя одно, попутно ломает другое :)
Обо всех ошибках я рассказать просто не смогу, да и вам это не надо. Главное знать, где эти самые ошибки искать! При работе с любым сайтом обязательно пользуйтесь панелями вебмастера Яндекса и Google, всю самую важную информацию и критические ошибки можно узнать оттуда. Очень рекомендую просматривать вручную индекс сайта в поисковиках, банально вводите запрос site:http://site.ru и просматриваете пару десятков страниц, и если не найдете никаких ошибок, то точно придумаете как можно улучшить сниппет! Сканируйте хотя бы раз в месяц сайт такими программами, как Page Weight, Xenu's Link Sleuth, Screaming Frog SEO Spider и др.

За продвижением или же за консультацией обращайтесь ко мне:
Phone: +38 (095) 193-33-96
Email: pluton24seo@gmail.com
Skype: smerTnikDK