Анализ логов сервера для SEO

Большинство SEO-данных — это оценки и косвенные сигналы. Логи сервера — исключение: они показывают точно, кто, когда и какую страницу запросил, в том числе поисковые роботы. Это единственное место, где видно, как Яндекс и Google на самом деле обходят ваш сайт: какие страницы любят, какие игнорируют и где упираются в ошибки. Разберём, что такое логи, что они дают для SEO и какие выводы из них делать.

Что такое логи сервера

Лог доступа (access log) — это текстовый файл, в который веб-сервер записывает каждое обращение к сайту: кто запросил (IP), когда, какую страницу, с каким кодом ответа и каким «представился» клиентом (User-Agent). Одна строка — один запрос. Среди этих запросов есть и обращения поисковых роботов — именно они интересны для SEO.

Что логи дают для SEO

В отличие от Метрики (которая считает людей) и панелей вебмастера (которые дают сводку с задержкой), логи показывают реальное поведение роботов в деталях и в реальном времени. Из них видно то, что больше нигде не увидеть:

Самое показательное в логах — это на что робот тратит обходы. На запущенном сайте картина часто удручающая: львиная доля визитов уходит на фильтры, дубли и ошибки, а важные страницы остаются на голодном пайке:

Что искать в логах

• Коды ответа для роботов. Сколько 200, а сколько 404 и 5xx получает бот. Много ошибок — сигнал чинить.
• Самые обходимые URL. Если в топе обхода — служебные и мусорные страницы, бюджет расходуется не туда.
• Необходимые, но редко посещаемые страницы. Важный раздел, куда робот почти не заходит, — повод усилить перелинковку и поднять его в структуре.
• Динамику обхода. Резкое падение частоты обхода после изменений — повод разобраться, не закрыли ли что-то лишнее.
• Настоящий ли это робот. IP Googlebot и YandexBot можно проверить обратным DNS — отсеять маскирующиеся парсеры.

Какие выводы и действия

• Робот тратит бюджет на мусор → закройте служебные и дублирующие URL в robots/noindex, чтобы он шёл к важным страницам.
• Робот ловит много 404 → найдите и почините битые ссылки и поставьте редиректы.
• Важные страницы обходятся редко → усильте внутреннюю перелинковку и поднимите их в структуре сайта.
• Сервер медленно отвечает роботу → работайте над временем ответа (TTFB) и скоростью.

Как отличить настоящего робота от подделки

Важная оговорка: далеко не каждый «Googlebot» в логах — настоящий. Под именем поисковых роботов охотно маскируются парсеры, накрутчики и сканеры уязвимостей: подставить любой User-Agent ничего не стоит. Если принимать их за реальный обход, выводы будут ложными. Проверяют подлинность по IP, а не по имени:

• Обратный DNS. Сделайте reverse DNS запрос по IP — у настоящего Googlebot он резолвится в домен googlebot.com (или google.com), у YandexBot — в yandex.ru/yandex.com/yandex.net.
• Прямой DNS обратно. Затем проверьте, что полученное имя резолвится обратно в тот же IP — это отсекает подделку DNS.
• Официальные диапазоны. Google и Яндекс публикуют списки своих IP — можно сверяться с ними.

Фейковые «роботы» в логах — это не только искажение статистики, но иногда и паразитная нагрузка, которую стоит ограничивать.

С чего начать разбор логов

Не обязательно сразу покупать дорогой анализатор — базовые выводы достаются простыми средствами. Возьмите access.log за неделю-две и посмотрите три вещи:

• Только строки роботов. Отфильтруйте записи по User-Agent (Googlebot, YandexBot) — дальше работаете с ними.
• Сводка кодов ответа. Сгруппируйте обращения бота по коду: какова доля 200, а сколько 404 и 5xx. Всплеск ошибок — первая зона работы.
• Топ запрашиваемых URL. Отсортируйте по частоте: если в верх списка лезут ?filter=, сортировки и теги, бюджет уходит не туда.

Этих трёх срезов уже хватает, чтобы найти главные проблемы. Для регулярной работы и больших объёмов подключают специализированные анализаторы логов, которые строят отчёты автоматически.

Логи и панели вебмастера: что где смотреть

Логи не заменяют Search Console и Яндекс.Вебмастер, а дополняют их. В панелях вебмастера удобно смотреть агрегированную статистику обхода, отчёты об индексации и ошибках — но данные приходят с задержкой и в усреднённом виде, а часть запросов робота туда просто не попадает. Логи дают полную и мгновенную картину: каждый запрос каждого бота, включая то, что панели не показывают. Практика такая: панели — для регулярного мониторинга и быстрых проверок, логи — когда нужно докопаться до сути (почему важный раздел не индексируется, куда утекает бюджет, откуда массовые 404 у робота).

Кому это нужно

Анализ логов — инструмент прежде всего для крупных сайтов: интернет-магазинов, порталов, агрегаторов с десятками тысяч страниц, где краулинговый бюджет реально ограничен. Небольшому сайту на сотню страниц логи редко открывают что-то критичное — там хватает панелей вебмастера и анализа сайта. Технически логи лежат на сервере (раздел статистики у хостинга или файлы access.log); для разбора больших объёмов используют специальные программы и анализаторы логов.

Коротко

Логи сервера — это точная запись всех обращений к сайту, включая поисковых роботов. Они показывают то, что не видно в других инструментах: как часто заходит робот, какие страницы обходит, где упирается в 404 и 5xx, куда уходит краулинговый бюджет и не маскируется ли кто-то под Googlebot. Главные выводы: закрыть мусор от обхода, починить ошибки, усилить важные страницы и ускорить ответ сервера. Анализ логов особенно полезен крупным сайтам с большим числом страниц; для маленьких обычно достаточно панелей вебмастера и анализа сайта.