Как составить robots.txt

robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы можно обходить, а какие не нужно. Это первое, что робот читает, заходя на сайт. Правильный robots.txt помогает не пускать в индекс мусор — служебные страницы, корзину, дубли — и направляет робота на карту сайта. Разберём, как его составить.

Из чего состоит robots.txt

Файл состоит из простых директив. Главные четыре:

• User-agent — для какого робота правила (* — для всех);
• Disallow — что закрыть от обхода;
• Allow — что разрешить (исключение внутри закрытого раздела);
• Sitemap — адрес карты сайта.

Пример простого robots.txt

Вот базовый рабочий вариант для большинства сайтов: открыт весь сайт, закрыты служебные разделы, указана карта сайта.

Здесь мы закрыли админку, корзину, страницы поиска и адреса с параметрами (/*? — частый источник дублей), оставив весь остальной сайт открытым, и указали карту.

Что обычно закрывают

Типичные кандидаты на закрытие: административные разделы, личный кабинет и корзина, страницы внутреннего поиска, технические и дублирующие адреса с параметрами, страницы для печати. Цель — не пускать в индекс то, что не нужно показывать в поиске и что создаёт дубли.

Частые ошибки

Самая опасная ошибка — случайно закрыть весь сайт строкой Disallow: /. Из-за неё сайт целиком вылетает из поиска, и такое, к сожалению, случается. Другие промахи: закрыть в robots.txt папки со стилями и скриптами (тогда робот видит сайт «сломанным»), забыть указать sitemap, надеяться, что Disallow гарантированно скроет страницу из выдачи (для надёжного скрытия нужен мета-тег noindex). После настройки обязательно проверьте файл в Яндекс.Вебмастере и Google Search Console.

robots.txt и индексация

Важно понимать: robots.txt управляет обходом, а не гарантированным исключением из индекса. Если на закрытую страницу ведёт много ссылок, она может попасть в выдачу даже при Disallow. Чтобы страница точно не индексировалась, используйте мета-тег noindex на самой странице. А robots.txt — это про то, куда роботу ходить, а куда нет.

robots.txt — маленький файл, но ошибки в нём дорого обходятся. Составьте его аккуратно, проверьте в панелях вебмастеров и не забудьте про карту сайта. Как это вписано в техническую оптимизацию — в статье про технический аудит сайта и в гайде как раскрутить сайт самостоятельно.