Чем отличается noindex от nofollow?

noindex запрещает индексировать страницу (она не попадёт в поиск), а nofollow запрещает переходить по ссылкам и передавать им вес. Это разные команды, их можно использовать вместе или по отдельности.

Закрывает ли robots.txt от индексации?

robots.txt запрещает сканирование раздела, но это не строгий запрет индексации — иногда закрытые там страницы всё равно попадают в поиск по внешним ссылкам. Для гарантии используйте meta noindex.

Какие страницы стоит закрывать от поиска?

Служебные (корзина, кабинет, поиск по сайту), дубли и технические (версии для печати, фильтры), а также пустые малоценные страницы. Основной контент закрывать нельзя.

noindex и nofollow: как закрыть страницы от индексации

Q: Как закрыть страницу от индексации?

Самый надёжный способ — добавить в её head мета-тег . Также можно использовать HTTP-заголовок X-Robots-Tag. robots.txt закрывает обход, но не гарантирует исключение из индекса.

Не каждую страницу сайта нужно показывать в поиске и не по каждой ссылке должен идти робот. Для этого есть директивы noindex и nofollow. Разберём, чем они отличаются, как их применять и какие страницы стоит закрывать.

Чем отличаются noindex и nofollow

Это две разные команды, которые часто путают:

noindex — «не индексируй эту страницу». Страница не попадёт в поиск, хотя робот её посетит.
nofollow — «не переходи по ссылкам». Применяется либо ко всей странице (не передавать вес по её ссылкам), либо к конкретной ссылке (атрибут rel="nofollow").

Их можно использовать вместе и по отдельности. Например, служебную страницу часто закрывают целиком от индексации, а отдельную внешнюю ссылку помечают nofollow, чтобы не передавать ей вес.

Как закрыть страницу от индексации

Через meta-тег robots

Самый надёжный способ для отдельной страницы — добавить в её <head> мета-тег:

Так страница и не индексируется, и вес по её ссылкам не передаётся. Если нужно только убрать из индекса, но разрешить переходы — пишут content="noindex, follow".

Через X-Robots-Tag

То же самое можно задать в HTTP-заголовке ответа сервера — удобно для файлов (PDF, изображений), куда мета-тег не вставить.

Через robots.txt

Файл robots.txt директивой Disallow закрывает раздел от обхода. Важный нюанс: это запрет на сканирование, а не строгий запрет индексации — иногда закрытые в robots.txt страницы всё равно попадают в поиск (по внешним ссылкам). Для гарантированного исключения из индекса надёжнее meta noindex.

🤖

Собрать корректный файл поможет генератор robots.txt, а задать правила на уровне сервера — генератор .htaccess.

Какие страницы стоит закрывать

Служебные — корзина, личный кабинет, страницы поиска по сайту, формы.
Дубли и технические — версии для печати, страницы с параметрами сортировки и фильтров.
Малоценные — пустые или почти пустые страницы, которые не несут пользы в поиске.

А вот основной контент — товары, статьи, услуги — закрывать нельзя ни в коем случае, иначе потеряете трафик.

Частая ошибка

Самая опасная ситуация — случайно закрыть весь сайт. Директива Disallow: / в robots.txt или noindex в шаблоне всех страниц выкидывает сайт из поиска целиком. Такое часто случается после переноса сайта с тестового сервера, где индексация была закрыта намеренно. Поэтому после любых работ стоит проверить, что индексация открыта.

🔍

Убедиться, что страницы открыты для индексации (нет лишних noindex и запретов), поможет проверка индексации.

Коротко

noindex убирает страницу из поиска, nofollow запрещает переходить по ссылкам. Закрывайте служебные, дублирующие и малоценные страницы — через meta robots это надёжнее всего. И обязательно проверяйте, что основной контент остался открытым, особенно после переездов сайта.