Чем отличается noindex от nofollow?

noindex запрещает индексировать страницу (она не попадёт в поиск), а nofollow запрещает переходить по ссылкам и передавать им вес. Это разные команды, их можно использовать вместе или по отдельности.

Закрывает ли robots.txt от индексации?

robots.txt запрещает сканирование раздела, но это не строгий запрет индексации — иногда закрытые там страницы всё равно попадают в поиск по внешним ссылкам. Для гарантии используйте meta noindex.

Какие страницы стоит закрывать от поиска?

Служебные (корзина, кабинет, поиск по сайту), дубли и технические (версии для печати, фильтры), а также пустые малоценные страницы. Основной контент закрывать нельзя.

Почему noindex не работает вместе с Disallow?

Если страница закрыта в robots.txt директивой Disallow, робот туда не заходит и не видит мета-тег noindex. Из-за этого страница с внешними ссылками может остаться в индексе. Чтобы noindex сработал, страница должна быть открыта для обхода — закрывайте чем-то одним.

Чем отличаются rel nofollow, sponsored и ugc?

nofollow — для ссылок, которым вы не доверяете; sponsored — для платных и рекламных; ugc — для ссылок из пользовательского контента (комментарии, форумы). Внутренние ссылки своего сайта закрывать nofollow не нужно.

noindex и nofollow: как закрыть страницы от индексации

Q: Как закрыть страницу от индексации?

Самый надёжный способ — добавить в её head мета-тег <meta name="robots" content="noindex">. Также можно использовать HTTP-заголовок X-Robots-Tag (удобно для файлов вроде PDF). robots.txt закрывает обход, но не гарантирует исключение из индекса.

Не каждую страницу сайта нужно показывать в поиске и не по каждой ссылке должен идти робот. Для этого есть директивы noindex и nofollow. Разберём, чем они отличаются, как их применять и какие страницы стоит закрывать.

Чем отличаются noindex и nofollow

Это две разные команды, которые часто путают:

noindex — «не индексируй эту страницу». Страница не попадёт в поиск, хотя робот её посетит.
nofollow — «не переходи по ссылкам». Применяется либо ко всей странице (не передавать вес по её ссылкам), либо к конкретной ссылке (атрибут rel="nofollow").

Их можно использовать вместе и по отдельности. Например, служебную страницу часто закрывают целиком от индексации, а отдельную внешнюю ссылку помечают nofollow, чтобы не передавать ей вес.

Под каждую задачу — свой инструмент; путать их не стоит.

Как закрыть страницу от индексации

Через meta-тег robots

Самый надёжный способ для отдельной страницы — добавить в её <head> мета-тег:

Так страница и не индексируется, и вес по её ссылкам не передаётся. Если нужно только убрать из индекса, но разрешить переходы — пишут content="noindex, follow".

Через X-Robots-Tag

То же самое можно задать в HTTP-заголовке ответа сервера — удобно для файлов (PDF, изображений), куда мета-тег не вставить.

Через robots.txt

Файл robots.txt директивой Disallow закрывает раздел от обхода. Важный нюанс: это запрет на сканирование, а не строгий запрет индексации — иногда закрытые в robots.txt страницы всё равно попадают в поиск (по внешним ссылкам). Для гарантированного исключения из индекса надёжнее meta noindex.

🤖

Собрать корректный файл поможет генератор robots.txt, а задать правила на уровне сервера — генератор .htaccess.

Какие страницы стоит закрывать

Служебные — корзина, личный кабинет, страницы поиска по сайту, формы.
Дубли и технические — версии для печати, страницы с параметрами сортировки и фильтров.
Малоценные — пустые или почти пустые страницы, которые не несут пользы в поиске.

А вот основной контент — товары, статьи, услуги — закрывать нельзя ни в коем случае, иначе потеряете трафик.

Частая ошибка

Самая опасная ситуация — случайно закрыть весь сайт. Директива Disallow: / в robots.txt или noindex в шаблоне всех страниц выкидывает сайт из поиска целиком. Такое часто случается после переноса сайта с тестового сервера, где индексация была закрыта намеренно. Поэтому после любых работ стоит проверить, что индексация открыта.

🔍

Убедиться, что страницы открыты для индексации (нет лишних noindex и запретов), поможет проверка индексации.

Когда nofollow на ссылках действительно нужен

Помечать nofollow все внешние ссылки подряд — устаревшая практика. Сегодня атрибут уточнили, и у него появились «родственники» под разные случаи:

rel="nofollow" — обычная ссылка, которой вы не доверяете или за которую не хотите «ручаться»: ссылки из комментариев, на сомнительные ресурсы.
rel="sponsored" — платные, рекламные и партнёрские ссылки. Так вы честно помечаете коммерческую природу ссылки.
rel="ugc" — ссылки из пользовательского контента: комментарии, форумы, отзывы.

Внутренние ссылки своего сайта закрывать nofollow не нужно — наоборот, по ним вес должен свободно растекаться. Подробнее про это — в статье про внутреннюю перелинковку.

Главная ловушка: noindex вместе с Disallow

Это ошибка, на которой спотыкаются даже опытные. Логика кажется железной: закрыть страницу и в robots.txt (Disallow), и мета-тегом noindex — «для надёжности». На деле выходит наоборот. Если раздел закрыт в robots.txt, робот туда просто не заходит — а значит, и мета-тег noindex не видит. Страница, на которую есть внешние ссылки, так и остаётся в индексе: без описания, но в выдаче. Правило: чтобы noindex сработал, страница должна быть открыта для обхода в robots.txt. Закрывают чем-то одним — либо Disallow (от обхода), либо noindex (от индекса), а не обоими сразу.

Как проверить, открыта ли страница

Быстрая проверка в три шага. Откройте исходный код страницы (Ctrl+U) и поищите <meta name="robots" — нет ли там лишнего noindex. Загляните в заголовки ответа сервера (вкладка Network или команда curl -I) — нет ли X-Robots-Tag с noindex. И проверьте robots.txt — не закрыт ли нужный раздел директивой Disallow. Массово статус индексации показывают Яндекс.Вебмастер и наша проверка индексации.

Коротко

noindex убирает страницу из поиска, nofollow запрещает переходить по ссылкам. Закрывайте служебные, дублирующие и малоценные страницы — через meta robots это надёжнее всего. Не закрывайте одну страницу и в robots.txt, и через noindex одновременно. И обязательно проверяйте, что основной контент остался открытым, особенно после переездов сайта.