Тест robots.txt

Введите сайт — инструмент загрузит его robots.txt и разложит по полочкам: какие боты, что закрыто и открыто, карты сайта, Crawl-delay и возможные ошибки. Или вставьте свой robots.txt вручную. А ниже можно проверить, разрешён ли конкретный URL для робота (побеждает самое длинное совпадающее правило).

📝 Показать или отредактировать robots.txt вручную
🔍 Проверка конкретного URL

Узнайте, разрешён ли путь для бота по правилам выше (побеждает самое длинное совпадающее правило).

Как работает проверка robots.txt

robots.txt — файл в корне сайта, который указывает поисковым роботам, какие разделы можно обходить, а какие нет. Каждая группа начинается со строки User-agent (имя бота или * для всех) и содержит правила Disallow (запретить) и Allow (разрешить). Этот тестер берёт ваш robots.txt, находит подходящую группу для указанного бота и применяет правила так же, как поисковик.

Правило самого длинного совпадения

Когда путь подходит сразу под несколько правил, побеждает то, у которого длиннее совпадающий шаблон. Например, при Disallow: /cart и Allow: /cart/info страница /cart/info будет разрешена — правило Allow длиннее. Поддерживаются спецсимволы * (любая последовательность) и $ (конец URL). Если для бота нет ни одной группы или ни одно правило не совпало — путь считается разрешённым.

Связанные инструменты

Собрать сам файл поможет генератор robots.txt, проверить, что нужные страницы в индексе — проверка индексации, а как закрыть страницы правильно — статьи как составить robots.txt и noindex и nofollow.

Частые вопросы

Что делает тест robots.txt?
Проверяет, разрешён ли конкретный URL для поискового робота по вашему файлу robots.txt. Вставьте содержимое robots.txt, укажите путь и имя бота — инструмент применит правила так же, как поисковик, и покажет, какое правило сработало.
Какое правило побеждает при конфликте?
Самое длинное совпадающее. Например, при Disallow: /cart и Allow: /cart/info страница /cart/info будет разрешена, потому что правило Allow длиннее. Поддерживаются спецсимволы * (любая последовательность) и $ (конец URL).
Что значит, если ни одно правило не совпало?
Путь считается разрешённым. Если для бота нет подходящей группы User-agent или ни один Disallow/Allow не подошёл, робот вправе обходить страницу.