Дубли страниц на сайте
Один и тот же контент открывается по нескольким адресам — это и есть дубли. Сайт думает, что страница одна. А поисковик видит три-четыре копии и не понимает, какую показывать в выдаче. В итоге он может выбрать не ту, а вес страницы — размазать между копиями. Позиции от этого только страдают.
Откуда берутся дубли
Чаще всего — сами собой, из-за настроек. Сайт открывается и с www, и без. И с http, и с https. С завершающим слешем и без него. К адресам цепляются метки рекламы (utm) и параметры сортировки. В интернет-магазинах один товар попадает в разные категории и получает несколько адресов. Каждый такой вариант для поисковика — отдельная страница, хотя контент один.
Как их найти
Первый помощник — анализатор: он сразу проверит, не открывается ли сайт по нескольким версиям сразу. Дальше загляните в Яндекс.Вебмастер и Google Search Console — там есть отчёты по дублям и исключённым страницам. И посмотрите число страниц в индексе: если их заметно больше, чем реальных, — это тревожный звонок.
Как убрать: три рабочих способа
Способ зависит от типа дубля. Главных инструмента три.
301-редирект — когда нужно навсегда перенаправить с копии на основной адрес. Так склеивают www и без-www, http и https, слеши. Один раз настроили — и все попадают на правильную версию.
Тег canonical — когда страницы должны остаться доступны, но в индекс идёт одна. Например, товар в разных категориях: на всех копиях ставите ссылку на главную версию.
robots.txt — чтобы вообще не пускать роботов на технические адреса с параметрами, например /*?.
Склейте www и слеши раз и навсегда
Базовая гигиена, с которой стоит начать. Выберите одну главную версию сайта — с www или без, с https. И настройте 301-редирект всех остальных вариантов на неё. Нужные правила можно собрать в готовый файл, не разбираясь в синтаксисе вручную.
Подытожим: дубли путают поисковик и крадут позиции, но убираются понятными средствами. Склейте версии 301-редиректом, разметьте копии через canonical, закройте технический мусор в robots.txt. Сделаете один раз — и забудете. Как это вписано в общую проверку — в статье про технический аудит сайта и в гайде как раскрутить сайт самостоятельно.