Как быстро проверить, есть ли сайт в индексе?

Наберите в поисковике запрос site:вашсайт.ru — если выпадает список страниц, сайт в индексе. Пусто — значит, страниц в базе нет, и нужно искать блокер: robots.txt, noindex или технические ошибки. Точную статистику по каждой странице показывает Яндекс Вебмастер в разделе «Страницы в поиске».

Сайт новый — через сколько он появится в поиске?

Обычно от нескольких дней до 2–4 недель, если ничего не мешает. Ускоряет процесс добавление сайта в Яндекс Вебмастер и Google Search Console с отправкой sitemap. Но учтите: попасть в индекс и получать трафик — разные вещи, молодой сайт первые месяцы почти не ранжируется по конкурентным запросам.

Что такое Disallow: / и почему из-за него сайт не индексируется?

Это директива в файле robots.txt, которая запрещает поисковым роботам обходить весь сайт целиком. Её ставят на время разработки, чтобы недоделанный сайт не попал в выдачу, — и регулярно забывают убрать при запуске. Проверка занимает 10 секунд: откройте вашсайт.ru/robots.txt и посмотрите, нет ли там Disallow: / без уточнений.

Сайт не находится по названию фирмы — в чём причина?

Чаще всего название компании нигде не написано на сайте обычным текстом — только картинкой в логотипе, которую робот не читает. Впишите название в title главной страницы и в тексты. Вторая причина — сайт слишком молодой и ещё не набрал доверия: тогда по названию выше стоят справочники и агрегаторы, это выправляется со временем.

Как понять, что на сайт наложен фильтр?

Главный симптом — резкое падение: сайт был в топе, а за день-два позиции рухнули на десятки пунктов или страницы вылетели из индекса, хотя технически всё работает. Откройте в Яндекс Вебмастере раздел «Диагностика» → «Безопасность и нарушения» — о большинстве санкций там написано прямо, с указанием причины.

Сайт в индексе, но по запросам не находится — что делать?

Это не проблема индексации: сайт скорее всего стоит на 30–100-х позициях, куда пользователи не долистывают. Проверьте реальные позиции по своим запросам, а дальше работайте над релевантностью: качество текстов, соответствие запросам, удобство страниц, ссылки. Это обычное SEO, а не починка поломки.

Почему сайта нет в поиске: диагностика по шагам

У «сайта нет в поиске» всегда есть конкретная причина, и в 8 случаях из 10 её можно найти за один вечер без всякого специалиста. Загвоздка в другом: под этой жалобой скрываются три разные проблемы — от забытого запрета в robots.txt до банально низких позиций, — и лечатся они совершенно по-разному. Ниже — диагностика по ступеням, от простого к сложному. Идите по порядку: чаще всего до третьей ступени дело даже не доходит.

Сначала уточните, чего именно «нет»

Прежде чем что-то чинить, ответьте на один вопрос: по какому запросу вы искали сайт? Вариантов три, и это три разных диагноза:

Сайта нет вообще — ни одной страницы. Даже по адресу вроде «site.ru» поисковик ничего не показывает. Это проблема индексации: страниц просто нет в базе поисковика. Начинайте со ступени 1.
Не находится по названию фирмы. «Ромашка-строй Тула» — а в выдаче конкуренты и справочники. Обычно это либо молодой сайт, который ещё не набрал доверия, либо название нигде не написано текстом на самом сайте (только картинкой в логотипе — робот её не прочитает).
Не находится по общим запросам вроде «купить окна» или «ремонт квартир». Это не «нет в поиске» — сайт в индексе, но стоит на 30–100-й позиции, куда никто не долистывает. Это ступень 4, и лечится она контентом, а не техникой.

Дальше — лестница диагностики. Каждая следующая ступень имеет смысл, только если предыдущая пройдена: бессмысленно вылизывать тексты, пока робот вообще не может скачать страницы.

Диагностика по ступеням: сначала индексация и техника, потом санкции, и только затем — позиции.

Ступень 1. Индексация: есть ли сайт в базе поисковика

Наберите в Яндексе или Google запрос site:вашсайт.ru. Если выпал список страниц — сайт в индексе, переходите к ступени 3 или 4. Если пусто — страниц в базе нет, и дальше ищем, кто их туда не пускает. Подробно про способы проверки — в статье как проверить индексацию сайта, а точную картину покажет Яндекс Вебмастер: сколько страниц загружено, сколько в поиске и почему исключены остальные.

Четыре типовых блокера, в порядке частоты:

Disallow: / в robots.txt. Классика: сайт закрыли от роботов на время разработки и забыли открыть. Откройте вашсайт.ru/robots.txt — если там Disallow: / без уточнений, поисковикам запрещён весь сайт. Как должен выглядеть правильный файл — в статье как составить robots.txt.
Метатег noindex. Строка <meta name="robots" content="noindex"> в коде страницы запрещает её индексировать. Тоже частый «подарок» от разработчиков или шаблона CMS. Что это и как убрать — noindex и nofollow.
Путаница с www и зеркалами. Если site.ru и www.site.ru живут как два независимых сайта, поисковик склеивает их сам — и иногда не в вашу пользу: в индексе оказывается «не та» версия. Разбор — в статье про главное зеркало сайта.
Сайт просто молодой. Новые сайты попадают в индекс не мгновенно: у Яндекса очередь обычно занимает от нескольких дней до 2–4 недель, у Google похоже. Ускорить можно, добавив сайт в панели вебмастеров и отправив sitemap. А почему молодым сайтам первые месяцы не дают трафика даже после индексации — читайте про песочницу для молодых сайтов.

⚠️ Самая частая причина у новых сайтов — Disallow: / в robots.txt, оставшийся от разработки. Проверяется за 10 секунд: откройте вашсайт.ru/robots.txt в браузере. По опыту — именно эту строку владельцы находят через месяцы, успев переписать тексты, сменить дизайн и разочароваться в SEO.

Ступень 2. Техника: может ли робот вообще получить страницы

Робот — обычный клиент: если сайт не открывается или отвечает через 30 секунд, страницы не попадут в индекс, а уже попавшие начнут вылетать. Что проверить:

Код ответа сервера. Страницы должны отдавать 200. Если сервер периодически отвечает 500/502/503 (падает под нагрузкой, глючит хостинг) — робот приходит, получает ошибку и уходит.
Скорость ответа. Ответ дольше 3–5 секунд — роботы сокращают обход, индексация еле ползёт.
DNS и домен. Домен оплачен? DNS-записи в порядке? Звучит смешно, но «сайт пропал из поиска» после неоплаченного домена — регулярный сюжет.
Сайт на JavaScript. Если контент рисуется скриптами в браузере, а в исходном HTML пустая страница, Яндекс может индексировать её именно как пустую. Проверка: Ctrl+U на странице — если текста, который видите на экране, нет в исходном коде, у робота его тоже нет. Решение — серверный рендеринг или пререндер.

🛠

Быстрая проверка всей ступени разом: SEO-анализ страницы покажет robots.txt, метатеги noindex и код ответа сервера в одном отчёте, а проверка индексации — сколько страниц сайта знают Яндекс и Google.

Ступень 3. Санкции: не наказал ли поисковик

Характерный симптом фильтра — «был в топе и разом пропал»: сайт годами собирал трафик, а потом за день-два позиции рухнули на 30–50 пунктов или страницы вылетели из индекса. С техникой при этом всё в порядке. Типовые поводы: накрутка поведенческих факторов, закупка ссылок, переоптимизированные тексты, агрессивная реклама на страницах.

Первым делом откройте Вебмастер — о большинстве санкций Яндекс пишет прямо: раздел «Диагностика» → «Безопасность и нарушения». Если там пусто, а трафик обвалился, прогоните сайт через проверку на фильтры и сверьте симптомы с типовыми санкциями — какие они бывают и как из-под них выходить, разобрано в статье про фильтры поисковых систем. Честная оговорка: выход из-под фильтра — это недели и месяцы, а не «убрал и завтра вернулось». Из-под накрутки поведенческих в Яндексе выбираются по 8–12 месяцев.

Ступень 4. В индексе, но не в топе — это другая болезнь

Если страницы в индексе, санкций нет, а сайт «не находится» — на самом деле он находится, просто на 4–10-й странице выдачи. Формально всё работает; практически трафика ноль, потому что дальше третьей страницы не ходит почти никто. Это уже не диагностика поломки, а обычное SEO: релевантность, контент, ссылки, поведенческие.

Проверьте реальные позиции по своим запросам через проверку позиций — часто оказывается, что сайт стоит на 25–60-х местах, то есть поисковик его знает и оценивает, просто конкуренты пока сильнее. Как подтягивать такие страницы наверх — отдельная большая тема, начните со статьи как попасть в топ Яндекса.

Шпаргалка: симптом → причина → что делать

Симптом	Вероятная причина	Что делать
По site: ни одной страницы, сайту меньше месяца	Очередь индексации у молодого сайта	Добавить сайт в вебмастера, отправить sitemap, подождать 2–4 недели
По site: пусто, сайту больше месяца	Disallow: / в robots.txt или noindex	Открыть /robots.txt и код страниц, убрать запреты
В индексе «не тот» адрес (с www или без)	Не настроено главное зеркало	Настроить редирект 301 на основную версию
Страницы постепенно вылетают из индекса	Ошибки 500, медленный сервер, дубли	Проверить код и скорость ответа, смотреть «Исключённые страницы» в Вебмастере
Был в топе — разом пропал	Фильтр за накрутку, ссылки или спам	Проверить «Безопасность и нарушения», убрать причину, ждать пересмотра
В индексе, но по запросам на 30–100 местах	Слабая релевантность и контент	Дорабатывать страницы под запросы, это уже не поломка, а SEO

Коротко

«Сайта нет в поиске» — это три разные проблемы: нет в индексе, нет по названию фирмы или нет в топе по общим запросам. Диагностика идёт по ступеням. Сначала индексация: набрать site:вашсайт.ru, открыть robots.txt (искать Disallow: /), проверить noindex в коде, зеркала с www и возраст сайта — молодые ждут индексации до месяца. Потом техника: код ответа 200, скорость сервера, оплаченный домен, наличие текста в исходном HTML. Потом санкции: если «был в топе и разом пропал» — смотреть «Безопасность и нарушения» в Вебмастере. И только если сайт в индексе и чист, но стоит на 30–100-х местах, — это не поломка, а обычная работа над контентом и релевантностью. Восемь из десяти случаев решаются на первой ступени за один вечер.