Что такое краулинговый бюджет простыми словами?

Это количество страниц сайта, которое поисковый робот готов обойти за определённый период. Робот не скачивает весь сайт сразу, поэтому важно, чтобы он тратил заходы на ценные страницы, а не на мусорные и дублирующие URL.

Кому важен краулинговый бюджет?

Прежде всего большим сайтам — интернет-магазинам с тысячами карточек и фильтров, маркетплейсам, крупным каталогам и СМИ. Для маленьких сайтов (до нескольких сотен страниц) робот обычно успевает обойти всё, и бюджет не проблема.

Как сэкономить краулинговый бюджет?

Закройте мусор в robots.txt, склейте дубли через canonical, сократите редиректы до одного шага, почините 404 и битые ссылки, дайте свежий sitemap.xml, ускорьте сервер и отправляйте изменения на переобход через IndexNow.

Краулинговый бюджет: что это и как его экономить

Q: На что робот тратит бюджет впустую?

На дубли и URL с параметрами (UTM, сортировки, фильтры), цепочки редиректов, битые ссылки и 404, бесполезные страницы (поиск, корзина, пустые теги, архивы). Плюс медленный сервер сокращает число страниц за заход.

У поискового робота не безграничное время на ваш сайт: за один заход он обходит ограниченное число страниц. Это и есть краулинговый бюджет. Если робот тратит его на мусорные и дублирующие URL, важные страницы индексируются медленно или не попадают в поиск вовсе. Разберём, как не разбазаривать бюджет.

Что такое краулинговый бюджет

Краулинговый бюджет (crawl budget) — это количество страниц сайта, которое поисковый робот готов обойти за определённый период. Он зависит от авторитета сайта, скорости сервера и того, как часто обновляется контент. Робот не обходит весь сайт за раз: он выбирает, что скачать сейчас, а что отложить. Ваша задача — направить его на ценные страницы и не дать тратить заходы на бесполезные.

Кому это важно

Для маленького сайта (до нескольких сотен страниц) бюджет обычно не проблема — робот успевает обойти всё. Краулинговый бюджет критичен для больших сайтов: интернет-магазинов с тысячами карточек и фильтров, маркетплейсов, крупных каталогов и СМИ. Там мусорные URL легко съедают весь обход, и новые товары/статьи неделями ждут индексации.

На что робот тратит бюджет впустую

🔁

Дубли и параметры

URL с UTM, сортировками, фильтрами — тысячи почти одинаковых страниц.

↪️

Цепочки редиректов

Каждый лишний переход 301/302 — потраченный запрос робота.

🚫

Битые ссылки и 404

Робот ходит по ссылкам на несуществующие страницы.

🕳

Бесполезные страницы

Пустые теги, архивы, страницы поиска, корзина, технические URL.

🐌

Медленный сервер

Чем дольше отвечает сайт, тем меньше страниц робот успеет за заход.

🗺

Нет карты сайта

Без sitemap робот ищет страницы только по ссылкам и может их пропустить.

Как экономить краулинговый бюджет

Закройте мусор в robots.txt. Страницы поиска, корзину, фильтры с параметрами, технические разделы — Disallow, чтобы робот туда не ходил.
Уберите дубли. Для сортировок, UTM и пагинации используйте rel=canonical на основную версию; склейте www/без-www и http/https.
Сократите редиректы. Никаких цепочек: сразу A→финал, один шаг 301.
Почините 404 и битые ссылки. Робот не должен ходить по ссылкам в никуда.
Дайте свежий sitemap.xml. С актуальными URL и lastmod — робот идёт по карте целенаправленно.
Ускорьте сайт. Быстрый ответ сервера = больше страниц за заход.
Сообщайте об изменениях через IndexNow. Новые и обновлённые страницы уходят на переобход сразу, не дожидаясь планового визита.

🛠

Закройте лишнее генератором robots.txt, соберите карту генератором sitemap.xml, найдите битые ссылки в проверке битых ссылок и лишние переходы в проверке редиректов. Сколько страниц в индексе — массовая проверка индексации.

Чек-лист

Мусорные URL (поиск, корзина, фильтры, UTM) закрыты в robots.txt
Дубли склеены через canonical, www и http редиректятся 301
Цепочки редиректов сокращены до одного шага
404 и битые ссылки устранены
Актуальный sitemap.xml отправлен в Вебмастер/Search Console
Сервер отвечает быстро (до ~1 сек)
Изменения уходят на переобход через IndexNow

📚

Глубже по теме: IndexNow и ускорение индексации, canonical и дубли, редиректы 301/302, индексация сайта.

Коротко

Краулинговый бюджет — это сколько страниц робот обойдёт за заход. Для больших сайтов его легко растратить на дубли, параметры, редиректы, 404 и бесполезные страницы. Экономьте его: закрывайте мусор в robots.txt, склеивайте дубли через canonical, сокращайте редиректы, чините 404, давайте свежий sitemap, ускоряйте сервер и пушите изменения через IndexNow. Тогда робот тратит обход на ценные страницы, и они быстрее попадают в поиск.