Тест robots.txt
Проверьте, разрешён ли конкретный URL для поискового робота по вашему файлу robots.txt. Вставьте содержимое robots.txt, укажите путь и бота — инструмент применит правила так же, как поисковик (побеждает самое длинное совпадающее правило). Всё считается в браузере.
Как работает проверка robots.txt
robots.txt — файл в корне сайта, который указывает поисковым роботам, какие разделы можно обходить, а какие нет. Каждая группа начинается со строки User-agent (имя бота или * для всех) и содержит правила Disallow (запретить) и Allow (разрешить). Этот тестер берёт ваш robots.txt, находит подходящую группу для указанного бота и применяет правила так же, как поисковик.
Правило самого длинного совпадения
Когда путь подходит сразу под несколько правил, побеждает то, у которого длиннее совпадающий шаблон. Например, при Disallow: /cart и Allow: /cart/info страница /cart/info будет разрешена — правило Allow длиннее. Поддерживаются спецсимволы * (любая последовательность) и $ (конец URL). Если для бота нет ни одной группы или ни одно правило не совпало — путь считается разрешённым.
Связанные инструменты
Собрать сам файл поможет генератор robots.txt, проверить, что нужные страницы в индексе — проверка индексации, а как закрыть страницы правильно — статьи как составить robots.txt и noindex и nofollow.