Soft 404: «мягкая» ошибка, которая мешает индексации

Когда страница удалена, сервер должен честно сказать поиску «такой страницы нет» — кодом 404. Но часто вместо этого сайт отдаёт код 200 («всё хорошо») с текстом «ничего не найдено». Это и есть soft 404 — мягкая ошибка, из-за которой поиск тратит краулинговый бюджет на пустышки и засоряет индекс. Разберём, чем она вредит и как её исправить правильными кодами ответа.

Что такое soft 404

Soft 404 — это ситуация, когда страница фактически не существует или пуста, но сервер отдаёт код 200 OK вместо 404. Поисковик ориентируется на код ответа: видит 200 — считает страницу нормальной и пытается её индексировать, хотя на ней «товар не найден» или пустой результат. Получается рассинхрон: для человека страница «не найдена», а для робота — рабочая.

Чем вредит soft 404

• Слив краулингового бюджета. Робот ходит на несуществующие страницы вместо реальных.
• Мусор в индексе. Пустые страницы попадают в поиск и тянут вниз общее качество сайта.
• Дубли. Десятки «не найдено» с разными URL, но одинаковым содержимым — это дубли.
• Плохой UX в выдаче. Пользователь кликает из поиска и попадает на «ничего не найдено».

Откуда берётся

• Удалённые товары и страницы, которые отдают «нет в наличии» с кодом 200.
• Пустые результаты фильтров, внутреннего поиска, категорий без товаров.
• Страницы-заглушки «в разработке», «скоро здесь будет».
• Неправильная настройка CMS, которая на любой адрес отдаёт 200 + текст ошибки.

Как исправить: правильные коды

Лечится soft 404 настройкой корректного кода ответа в зависимости от ситуации:

Какой код вернуть: схема решения

Чтобы не гадать каждый раз, держите перед глазами короткую схему. Два вопроса — и вы знаете нужный код:

Редирект на главную — тоже soft 404

Любимый «костыль» — отправить все удалённые страницы 301-редиректом на главную. Кажется логичным: и 404 нет, и пользователь не на пустой странице. Но поиск распознаёт этот приём: если со страницы про конкретный товар вас бросает на главную, по содержанию это не замена, а та же «страница не найдена» — и Google отмечает такие редиректы как soft 404. Редирект уместен только на релевантную замену: похожий товар, родительскую категорию, новую версию материала. Нет подходящей — честный 404 или 410 лучше, чем редирект «в никуда».

Soft 404 в Яндексе

Сам термин «soft 404» — гугловский, в Яндекс.Вебмастере его нет. Но проблема та же: пустые страницы с кодом 200 Яндекс отмечает в разделе исключённых как «Недостаточно качественная» или «Малоценная», и в индекс они не попадают, а обход на них тратится. Поэтому правило универсально для обоих поисковиков: несуществующее отдаёт 404/410, а не 200. Проверяйте исключённые страницы в Вебмастере — там часто и обнаруживаются «мягкие» ошибки.

А 5xx и таймауты?

Не путайте «нет страницы» с «сервер сломался». Коды 5xx — это другая беда: 500/502/503 говорят, что запрос не отработал. Если такие ответы массовые, робот снижает частоту обхода, а позиции проседают. Отдельный случай — плановые работы: на время техобслуживания правильно отдавать 503 Service Unavailable с заголовком Retry-After, а не 200-заглушку и не 404. Так поиск поймёт, что это временно, и вернётся позже, не выкидывая страницы из индекса.

Как обнаружить

• Google Search Console — отчёт «Индексирование» помечает страницы как «Подобие страницы с ошибкой 404 (soft 404)».
• Проверка кода вручную — откройте заведомо несуществующий адрес вашего сайта (например, /qwerty-test-123) и посмотрите код ответа: должен быть 404, а не 200.
• Логи и обход — большое число обращений робота к «пустым» URL.

Полезная страница 404

Сама страница 404 должна быть полезной: с шапкой и меню сайта, понятным сообщением, поиском и ссылками на популярные разделы — чтобы посетитель не ушёл, а нашёл нужное. Но код ответа при этом всё равно должен быть 404 (или 410) — красивая страница с кодом 200 остаётся soft 404.

Чек-лист

• Несуществующие адреса отдают 404 (или 410), а не 200
• Удалённые товары: 404/410, либо 301 на аналог (не на главную)
• Пустые результаты фильтра/поиска не индексируются
• Проверили в Search Console отчёт по soft 404
• Страница 404 полезная (меню, поиск, ссылки), но с кодом 404
• CMS не отдаёт 200 на любой случайный адрес

Коротко

Soft 404 — это когда несуществующая или пустая страница отдаёт код 200 вместо 404. Поиск считает её рабочей, индексирует пустышки и тратит краулинговый бюджет. Лечится правильными кодами: 404 — страницы нет, 410 — удалена навсегда, 301 — есть замена (но не на главную). Найти soft 404 можно в Google Search Console и ручной проверкой кода ответа. Страницу 404 делайте полезной, но именно с кодом 404, а не 200.