Дубли страниц на сайте
Один и тот же контент открывается по нескольким адресам — это и есть дубли. Сайт думает, что страница одна. А поисковик видит три-четыре копии и не понимает, какую показывать в выдаче. В итоге он может выбрать не ту, а вес страницы — размазать между копиями. Позиции от этого только страдают.
Откуда берутся дубли
Чаще всего — сами собой, из-за настроек. Сайт открывается и с www, и без. И с http, и с https. С завершающим слешем и без него. К адресам цепляются метки рекламы (utm) и параметры сортировки. В интернет-магазинах один товар попадает в разные категории и получает несколько адресов. Каждый такой вариант для поисковика — отдельная страница, хотя контент один.
Как их найти
Первый помощник — анализатор: он сразу проверит, не открывается ли сайт по нескольким версиям сразу. Дальше загляните в Яндекс.Вебмастер и Google Search Console — там есть отчёты по дублям и исключённым страницам. И посмотрите число страниц в индексе: если их заметно больше, чем реальных, — это тревожный звонок.
Как убрать: три рабочих способа
Способ зависит от типа дубля. Главных инструмента три.
301-редирект — когда нужно навсегда перенаправить с копии на основной адрес. Так склеивают www и без-www, http и https, слеши. Один раз настроили — и все попадают на правильную версию.
Тег canonical — когда страницы должны остаться доступны, но в индекс идёт одна. Например, товар в разных категориях: на всех копиях ставите ссылку на главную версию.
robots.txt — чтобы вообще не пускать роботов на технические адреса с параметрами, например /*?.
Склейте www и слеши раз и навсегда
Базовая гигиена, с которой стоит начать. Выберите одну главную версию сайта — с www или без, с https. И настройте 301-редирект всех остальных вариантов на неё. Нужные правила можно собрать в готовый файл, не разбираясь в синтаксисе вручную.
Какие бывают дубли: полные и частичные
Дубли делятся на два вида, и лечатся по-разному. Полные — когда один и тот же контент открывается по разным адресам: www и без-www, http и https, со слешем и без, с метками и параметрами. Частичные — когда страницы разные, но слишком похожи: одинаковые Title и Description у десятка карточек, почти идентичные тексты в категориях разных городов, страницы фильтров и пагинации. Полные склеивают редиректом и canonical, а частичные приходится делать по-настоящему разными — переписывать тексты и мета-теги.
Чем дубли реально вредят
Вред не абстрактный, а вполне конкретный. Во-первых, размывается вес: ссылки и поведенческие делятся между копиями вместо того, чтобы усиливать одну страницу. Во-вторых, поисковик может выбрать в выдачу не ту версию — например, адрес с меткой вместо чистого. В-третьих, робот тратит краулинговый бюджет на обход копий, и до новых страниц у него доходят руки позже. В-четвёртых, масса похожих страниц может потянуть сайт под фильтр за малоценный контент.
Дубли Title и Description
Самый частый частичный дубль, который многие не замечают. Когда у пачки страниц одинаковые Title и Description, поисковик считает их похожими и может склеить или понизить. Обычно это болезнь шаблонных страниц: карточек товара, пагинации, фильтров. Лечится уникальными мета-тегами — хотя бы по шаблону с подстановкой названия, цены, города. Подробно — в статье про дубли Title и Description.
Частые ошибки при борьбе с дублями
Главных промахов четыре. Первый — склеивать через 302 вместо 301: временный редирект не передаёт вес так, как постоянный. Второй — ставить canonical на разные страницы или на несуществующий адрес, и тогда из индекса выпадает не то. Третий — закрыть страницу и в robots.txt, и через canonical одновременно: робот не зайдёт и каноникал не увидит. Четвёртый — делать цепочку редиректов (копия → копия → оригинал) вместо прямого перехода в один шаг.
Подытожим: дубли путают поисковик и крадут позиции, но убираются понятными средствами. Склейте версии 301-редиректом, разметьте копии через canonical, закройте технический мусор в robots.txt. Сделаете один раз — и забудете. Как это вписано в общую проверку — в статье про технический аудит сайта и в гайде как раскрутить сайт самостоятельно.