A/B-тестирование сайта
«Мне кажется, синяя кнопка лучше зелёной» — так принимать решения о сайте нельзя: вкусы у всех разные, а правда у аудитории одна. A/B-тест отвечает на вопрос фактами: показываем двум группам посетителей разные варианты и смотрим, какой приносит больше результата. Разберём, как это делается правильно. Чаще всего тестируют посадочные — про них см. SEO лендинга и одностраничника. Дополнить A/B-тест качественными данными помогают тепловые карты и Вебвизор.
Как это работает
Идея проста. Берём страницу, делаем второй вариант с одним изменением (вариант B), и трафик случайно делим пополам: половина видит старый вариант A, половина — новый B. Параллельно считаем целевое действие — например, заявки. Через какое-то время сравниваем: где конверсия выше, тот вариант и побеждает.
Ключевое слово — случайно и одновременно. Нельзя просто показать вариант A в понедельник, а B во вторник: на результат повлияет день недели, погода, реклама. Только параллельное деление аудитории даёт честное сравнение.
Что стоит тестировать
- Призыв к действию — текст и вид кнопки («Отправить» против «Получить расчёт»).
- Заголовок и оффер — как сформулировано главное предложение на странице.
- Форму — количество полей, порядок, обязательность.
- Первый экран — картинку, расположение блоков, что человек видит сразу.
- Цену и подачу — как показаны тарифы, акценты, скидки.
Тестируйте одно изменение за раз. Если поменять сразу кнопку, заголовок и форму, вы увидите разницу, но не поймёте, что именно сработало.
Главное про статистику
Самая частая ошибка — остановить тест слишком рано. На первых десятках визитов цифры скачут, и «победитель» может смениться. Дайте тесту накопить достаточно данных и времени (обычно минимум пару недель и сотни целевых действий на вариант), и только потом делайте вывод. Разница в полпроцента на сотне визитов — это шум, а не результат. Сервисы для A/B-тестов сами подсказывают, достигнута ли достоверность.
Как запускать
Вручную делить трафик и считать сложно — для этого есть специальные сервисы A/B-тестирования, которые сами показывают варианты, собирают статистику и определяют победителя. Цели и конверсию удобно отслеживать в связке с Яндекс.Метрикой. Начните с одной понятной гипотезы — например, переформулировать кнопку — проверьте, закрепите результат и переходите к следующей.
Как сформулировать гипотезу
Хороший тест начинается не с «давайте поменяем кнопку», а с гипотезы — обоснованного предположения. Удобная формула: «если изменим X, то показатель Y вырастет, потому что Z». Например: «если заменим кнопку „Отправить“ на „Получить расчёт“, конверсия в заявки вырастет, потому что текст яснее объясняет выгоду». Важно, чтобы гипотеза опиралась на данные, а не на вкус: подсказки даёт аналитика — карты кликов и скроллинга, записи Вебвизора, отчёты о том, где люди уходят. Тест без гипотезы превращается в гадание; тест с гипотезой — в проверку конкретной идеи, и даже проигрыш чему-то учит.
A/B, A/A и многовариантные тесты
Видов тестов несколько. Классический A/B сравнивает два варианта по одному изменению — это рабочая лошадка. A/A-тест — когда обеим половинам показывают одинаковый вариант: звучит бессмысленно, но он проверяет, что система делит трафик честно (если «одинаковые» варианты дали разную конверсию — инструменту верить нельзя). Многовариантный тест (MVT) проверяет сразу несколько изменений в разных сочетаниях, но требует очень много трафика, потому что комбинаций получается масса. Для большинства сайтов разумный путь — простые A/B по одному изменению за раз.
Сколько нужно трафика
Главное ограничение A/B-тестов — им нужен объём. Чтобы разница была достоверной, а не случайной, на каждый вариант нужны сотни целевых действий, а значит — тысячи визитов. На странице с парой заявок в неделю честный A/B-тест займёт месяцы, и смысл теряется. Что делать сайтам с небольшим трафиком: тестировать на самых посещаемых страницах, выбирать изменения с заведомо большим эффектом (а не оттенок кнопки), удлинять период или опираться на качественные данные — Вебвизор, опросы, юзабилити-тесты, где выводы видны и без статистики. A/B — мощный инструмент, но не для всех масштабов.
Частые ошибки
Их несколько, и почти все про статистику. Остановить тест рано, увидев «победителя» на первых визитах, — цифры ещё скачут. Подглядывать и останавливать в момент, когда нравится результат (это называют peeking — так можно «доказать» что угодно). Тестировать на слишком малом трафике и принимать шум за сигнал. Менять несколько элементов сразу и не понимать, что сработало. Игнорировать сезонность и внешние события, искажающие период. И не закреплять результат: выиграл вариант B — внедрите его насовсем, а не оставляйте тест болтаться вечно.
Коротко
A/B-тест — способ принимать решения о сайте на данных, а не на вкусе: двум случайным половинам аудитории одновременно показывают разные варианты и сравнивают конверсию. Тестируют по одному изменению — кнопку, заголовок, форму, первый экран. Главное правило статистики: не останавливать тест рано, дать ему накопить достаточно данных. Для SEO это безопасно, если использовать canonical и не показывать роботу не то, что людям. Запускают через специальные сервисы в связке с Метрикой.