Генератор robots.txt
Создайте корректный файл robots.txt: выберите робота, отметьте, какие разделы закрыть от индексации, добавьте ссылку на карту сайта. Код формируется сразу — скопируйте его в файл robots.txt и загрузите в корень сайта.
Что такое robots.txt
robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно обходить, а какие нет. Он не защищает страницы (для этого есть noindex и пароли), но помогает не тратить краулинговый бюджет на служебные и дублирующие страницы: админку, корзину, внутренний поиск, страницы с параметрами и сортировками. Файл должен открываться по адресу вашсайт/robots.txt.
Как пользоваться генератором
Выберите робота: * — правила для всех, либо отдельно Yandex или Googlebot. Отметьте галочками типовые разделы, которые стоит закрыть, и при необходимости добавьте свои пути в Disallow (по одному в строке). В Allow можно указать исключения — что разрешить внутри закрытого раздела. Укажите адрес карты сайта в поле Sitemap. Готовый текст в правильном формате появляется сразу — скопируйте его или скачайте файл.
Важные правила
Пустая директива Disallow: означает «разрешить всё», а Disallow: / закроет от индексации весь сайт — будьте внимательны, чтобы не убрать сайт из поиска по ошибке. Директиву Sitemap указывают один раз, она действует для всех роботов. После загрузки файла проверьте его в Яндекс.Вебмастере и Google Search Console.
Что рядом
Соберите карту сайта генератором sitemap.xml и укажите её в поле Sitemap. Проверить технические настройки и индексацию поможет анализ сайта и проверка индексации. Подробнее — в статье как составить robots.txt.