Ситуация следующая — на сайте стоит модуль WooCommerce. Есть товары, которые должны видеть все посетители, и товаров, которые должны видеть лищь зарегистрированные посетители – это делалось для отображения дилерской цены (уж не судите строго, вышли из положения таким образом). Поле такого решения вопроса со скрытой ценой продуктов, возникли дубли половины представленных карточек.
Далее возник вопрос, связанный с ранее проделанной оптимизацией url – делали ЧПУ. Здесь не стоит забывать и о стандартных дублях WordPress. Итого у нас все товары отображаются еще и с папкой /product/ и /sample-product/.
На выходе получили картинку:
Оговоримся касательно адреса – долго игрались с модулем товаров, стремясь преобразить url товаров к вот такому шаблону — /super-clean, но на выходе бросили это дело, так как WordPress постоянно выбрасывал баги в виде 404 страницы блога, или статей блога, или какой-то выборочной категории.
На этом качели с коммерческим модулем не закончились. Были еще категории и с ними та же ситуация. От ЧПУ вида /ampuly, пришлось отказаться, так как 404 страница на блоге нас преследовала маниакально. Было принято решение оставить промежуточную папку, но сократить ее название с /category/ до /cat/ (…/cat/ampuly). Итого получили дубли:
Работа с первым моментом, так как карточек товаров не так уж много, производилась руками из админ-панели. Закрывали каждую дублирующуюся карточку при помощи атрибута nofollow, noindex (установлен модуль “All in One SEO Pack Pro“), ну и естественно исключили из карты сайта.
Касательно папок /product/ и /sample-product/ — было принято решение закрыть их через файл Robots.txt (Disallow: /sample-product/; Disallow: /product/).
С категориями
Дубли зеркала и защищенного протокола
А дубли, как оказалось имели продолжение.
Спустя месяц набрел на дивный url в выдаче:
и решил проверить все товары. В результате нашел на товарах дубли, которые вроде как порешили уже — professionalnaya_liniya/dlya-domashnego-ispolzovaniya/sample-product/cleansing-foam-clean
да не мог вспомнить как именно — грешил на редирект. Мы их закрывали в файле Robots.txt, как указано абзацом выше, но память — она коварна, вообразил что пропустили поставить редирект на сей товар. Принялся ставить и нашел url следующего формата:
Они-то закрыты от индексации, но как-то не по себе, зная сколько вариантов их присутствует на ресурсе.
Такая ситуация приключилась, как мы полагаем, после нашего не совсем умелого сокращения длины url (программист впервые столкнулся с этим вопросом).
Также за последний месяц обнаружили дубли (в выдаче ПС) формата:
и так далее…
Это совсем занятно, даже улыбнуло.